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本 书 研 究 了 信息 融合 
的 基本 理论 ， 然 后 研究 了 
法 、 结 合 聚 类 分 割 的 分 水 
























































机 的 识别 系统 实现 。 


本 书 适 合 从 事 多 源 信息 融合 理论 、 





法 ， 研 究 了 基于 协 方差 矩阵 多 特征 信息 融合 、 
方法 、 基 于 改进 免疫 遗传 的 特征 融合 方法 、 基 于 独立 分 量 的 
典型 相关 分 析 特 征 融合 方法 的 改进 。 最 后 介绍 了 基于 优化 改进 的 反 向 传播 
神经 网 络 目标 识别 、 模 糊 支持 向 量 机 理论 与 编程 实现 、 基 于 模糊 支持 向 量 
































目标 识别 技术 ， 首 先 分 析 了 特征 级 融合 目标 识别 
图 像 的 预 处 理 、 结 合 浆 值 分 割 的 分 水 岭 算 
目标 特征 提取 方法 。 对 于 特征 融合 方 
基于 主 成 分 分 析 的 特征 融合 
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随 着 科学 技术 的 发 展 ， 信 息 化 已 经 在 各 个 领域 中 得 到 了 重视 和 发 展 ， 特 别 
是 在 军事 方面 的 应 用 ， 如 何 获得 有 效 信息 是 现代 化 战争 的 一 个 关键 点 。 各 个 国 
家 都 投入 了 很 大 的 人 力 和 物力 ， 用 以 实现 对 目标 的 全 天 候 、 全 方位 、 多 角度 的 
有 效 识 别 与 追踪 。 单 一 传 感 顺 的 工作 环境 正 变 得 日 益 复 杂 ， 如 遇 到 移动 、 遮 挡 、 
缩放 和 旋转 的 目标 时 ， 需 要 通过 利用 多 传感器 来 同时 获取 目标 多 方位 特征 ， 对 
其 进行 有 效 的 融合 分 析 ， 从 而 能 够 实现 对 目标 的 识别 。 目 前 ， 多 传感器 信息 融 
合 大 多 被 应 用 在 模式 识别 、 目 标 跟踪 等 方面 ， 同 时 在 交通 、 网 络 安全 、 工 业 、 
军事 和 生物 医学 等 领域 也 有 着 非常 好 的 应 用 前 景 。 

在 传统 的 目标 识别 系统 中 ， 由 于 技术 局 限 、 环 境 复 杂 度 不 高 和 工作 要 求 低 ， 
一 般 都 以 单一 传感器 来 获取 数据 ， 所 以 获得 目标 或 场景 的 信息 一 般 都 是 片面 的 ， 
并 且 受 一 定 的 光线 和 环境 影响 导致 了 精确 度 低 。 为 此 人 们 提出 了 基于 多 传 感 带 
多 特征 的 目标 识别 方法 。 

本 书 研究 了 信息 融合 目标 识别 技术 ,首先 分 析 了 特征 级 融合 目标 识别 的 基 
本 理论 ， 然 后 研究 了 多 源 图 像 的 预 处 理 、 结 合 阀 值 分 割 的 分 水 岭 算法 、 结 合 引 
类 分 割 的 分 水 岭 算法 、 目 标 特征 提取 方法 。 对 于 特征 融合 方法 。 人 研究 了 基于 协 
方差 矩阵 多 特征 信息 融合 、 基 于 主 成 分 分 析 的 特征 融合 方法 、 基 于 改进 免疫 遗 
传 的 特征 融合 方法 、 基 于 独立 分 量 的 特征 融合 、 对 典型 相关 分 析 特 征 融合 方法 
的 改进 。 最 后 介绍 了 基于 优化 改进 的 反 回 传播 神经 网 络 目标 识别 、 模 糊 支 持 向 
量 机 理论 与 编程 实现 、 基 于 模糊 支持 向 量 机 的 识别 系统 实现 。 

本 书 由 胡 玉 兰 、 郝 博 、 王 东明 、 孝 伟 光 、 秦 丽 娟 、 胡 南 南 、 李 务 著 。 本 书 
的 研究 工作 得 到 了 国家 自然 科学 基金 面 上 项 目 (项 目 号 : 61373089) 的 资助 ， 
作者 在 此 表示 诚挚 的 感谢 。 同 时 感谢 机 械 工 业 出 版 社 参 加 本 书 出 版 工作 的 同志 
们 的 大 力 文 持 与 帮助 。 

信息 融合 目标 识别 技术 目前 仍 处 于 不 断 发 展 的 阶段 ， 许 多 理论 和 算法 还 不 
够 完善 ， 加 之 作者 水 平 所 限 ， 书 中 难免 有 玻 漏 之 处 ， 有 恳请 广大 读者 批 评 指正 。 
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随 着 科学 技术 的 发 展 ， 信 息 化 已 经 在 各 个 领域 里 得 到 了 重视 和 发 展 ， 特 别 
是 在 军事 方面 的 上 应用， 如何 获 得 有 效 信息 是 现代 化 战争 的 一 个 关键 点 ， 它 决定 
了 战争 的 胜 负 ， 从 而 使 得 各 个 国家 都 对 实时 获取 信息 投入 了 很 大 的 人 力 和 物力 ， 
以 达到 对 目标 实时 、 全 天 候 、 全 方位 、 多 角度 有 效 而 准确 的 识别 与 追踪 。 而 目 
标识 别 的 主要 问题 是 如 何 获得 我 们 想 要 识别 的 目标 的 特征 ， 使 用 单一 传感器 一 
般 在 特定 环境 下 可 对 目标 进行 识别 ,但 是 随 着 现在 的 工作 环境 变 得 日 益 复 本 ， 
在 遇 到 可 移动 、 遮 挡 、 缩 放 和 可 旋转 姿态 变化 的 目标 时 ， 它 已 经 不 能 满足 需求 
了 。 此 时 我 们 就 需要 通过 利用 多 传感器 来 同时 获取 目标 多 方位 特征 ， 对 其 进行 
有 效 的 融合 分 析 ， 才 能 对 目标 进行 识别 。 目 前 ， 多 传感器 信息 融合 大 多 被 应 用 
在 模式 识别 、 目 标 跟 踪 、 态 势 评 佑 等 方面 ， 同 时 在 交通 、 网 络 安全 、 工 业 、 军 
事 和 生物 医学 等 领域 也 有 着 非常 好 的 应 用 前 景 。 

在 传统 的 目标 识别 系统 中 ， 由 于 技术 局 限 、 环 境 复 杂 度 不 高 和 工作 要 求 低 ， 
一 般 都 以 单一 传感器 来 获取 数据 ， 所 以 获得 目标 或 场景 的 信息 一 般 都 是 片面 的 ， 
并 且 在 受 一 定 的 光线 和 环境 影响 导致 了 精确 度 低 ， 此 时 人 们 为 此 提出 了 基于 多 
传 感 需 多 特征 的 目标 识别 方法 。 在 20 世纪 70 年 代 后 期 人 们 提出 了 基于 多 传 感 带 
的 信息 融合 概念 ， 通 过 将 传感器 、 图 像 信号 处 理 、 计 算 机 仿真 和 人 工 智能 有 效 
地 结合 起 来 形成 现代 处 理 技术 。 它 是 通过 对 人 类 和 其 他 受 感知 的 器 官 〈 四 肢 、 
眼 、 鼻 、 耳 ) 所 感知 的 信息 ( 触觉、 图像 、 味 觉 、 声 音 ) 来 进行 有 效 的 模拟 ， 
青 利用 先 验 知识 对 其 进行 综合 分 析 ， 从 而 达到 了 对 周围 陌生 环境 做 出 有 效 可 乱 
的 分 析 判 断 的 目的 。 当 然 这 里 的 处 理 运行 过 程 相当 的 复杂 ， 同 时 也 是 根据 自 适 
应 去 有 效 完成 的 ， 通 过 将 各 种 有 效 信息 进行 转化 ,来 达到 对 有 价值 的 具体 环境 
的 解释 ， 这 又 涉及 许多 不 同 的 智能 结合 应 用 ， 以 及 通过 利用 先 验 知识 库 来 对 信 
县 含义 进行 有 效 解 释 。 通 过 将 不 同 的 或 者 相同 的 多 个 传感器 进行 有 效 结合 的 方 
法 称 为 信息 融合 处 理 方法 ， 同 时 人 们 也 称 它 为 多 传感器 融合 ， 而 信息 融合 则 是 
我 们 应 用 中 最 广泛 的 称呼 。 
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在 目标 识别 系统 中 ， 可 见 光 传 感 顺和 红外 传 感 咒 是 常用 的 两 种 传感器 。 主 
要 负责 在 白天 与 黑夜 对 目标 图 像 数据 进行 有 效 的 采集 ， 充 分 结合 了 它们 在 图 像 
信息 的 互补 性 ， 从 而 使 得 它们 能 够 协同 进行 并 得 到 更 高 的 识别 精确 度 、 环 境 抗 
干扰 性 和 适应 能 力 。 所 以 相对 于 单一 的 传 感 顺 目标 识别 系统 而 言 ， 多 传感器 协 
同 的 目标 识别 系统 具有 以 下 优点 : 

1) 分 辩 率 高 ， 可 信 度 高 ， 生 存 能 力 强 ， 有 利于 识别 目标 。 

2) 范围 广 ， 扩展 了 目标 识别 有 效 空间 、 时 间 的 覆盖 范围 ， 对 隐身 目标 能 
效 地 进行 识别 。 

3) 可 见 光 和 红外 传感器 能 够 采集 图 像 的 不 同 特征 ， 从 而 降低 了 目标 识别 的 
模糊 性 ， 对 目标 能 够 进行 更 有 效 的 识别 。 

4) 可 实时 、 全 天 候 、 全 方位 、 多 角度 地 对 目标 进行 有 效 识别 ， 改 善 了 系统 
的 整体 性 能 。 

本 书 研 究 的 目的 是 针对 单传 感 右 在 目标 识别 系统 中 的 不 足 ， 人 研究 、 设 计 以 
及 实现 采用 多 传感器 协同 处 理 技术 的 目标 识别 系统 ， 充 分 利用 红外 和 可 见 光 采 
集 目 标 数 据 信 息 进 行 互补 ， 从 而 获得 比 任何 单传 感 器 对 目标 更 为 全 面 和 精确 的 
表述 ， 为 多 传感器 协同 的 目标 识别 系统 打下 了 良好 的 基础 。 因 此 ， 基 于 多 传 感 
器 协同 的 目标 识别 系统 有 很 高 的 研究 价值 。 

随 着 科学 技术 的 发 展 ， 虽 然 基于 特征 信息 融合 的 目标 识别 技术 被 广泛 地 应 
用 在 国防 、 医 学 、 安 防 、 信 息 安 全 、 腺 感 探测 等 领域 , 但 是 在 模式 识别 领域 中 
对 其 研究 的 难点 和 一 些 薄 弱 环 节 仍 需要 我 们 去 完善 和 解决 ， 所 以 选择 多 特征 信 
县 融合 来 作为 我 们 的 研究 方向 ， 主 要 有 以 下 几 点 原因 ; 

1) 目前 有 文献 对 图 像 的 特征 信息 融合 方法 进行 了 描述 ， 并 说 明了 其 在 目标 
识别 中 的 表现 明显 好 于 像素 级 图 像 融合 和 决策 级 图 像 融合 。 

2) 通过 图 像 的 特征 信息 融合 不 仅 能 够 帮助 我 们 从 图 像 中 提取 更 多 有 效 的 特征 信 
息 ， 来 对 图 像 进行 综合 分 析 和 融合 人 处理， 而 且 还 可 获得 图 像 中 附带 可 利用 的 其 他 特 
征 ， 在 一 定 程度 上 帮助 系统 降低 了 训练 学 习 的 复杂 度 ， 从 而 增强 了 算法 的 鲁 棒 性 。 

3) 特征 信息 图 像 融 合 通过 外 部 传感器 获得 的 图 像 数据 既 能 对 目标 的 多 特征 
言 息 进行 融合 和 保留 ， 也 能 帮助 我 们 在 一 定 程 度 上 消除 原始 图 像 的 一 些 宛 余 信 
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寻 。 这 样 就 能 达到 信息 压缩 的 目的 ， 有 利于 对 信息 进行 有 效 的 实时 处 理 。 

4) 目标 识别 主要 就 是 依靠 目标 特征 数据 库 ， 利 用 多 传感器 图 像 特征 信息 融 
合 就 是 为 了 从 不 同 角 度 、 不 同时 间 、 不 同 空间 去 对 目标 信息 进行 有 效 采 集 ， 通 
过 有 效 的 特征 提取 ， 以 及 特征 信息 融合 ， 最 终 的 结果 就 是 为 了 更 好 地 去 识别 目 
标 ， 提 高 目标 识别 系统 的 可 靠 性 。 目 前 对 特征 融合 的 研究 最 为 滞后 和 困难 ， 由 
于 特征 的 千差万别 ， 特 征 提取 对 算法 的 要 求 也 是 千差万别 ， 所 以 缺乏 一 套 成 熟 
理论 框架 和 结构 。 目 前 所 使 用 的 融合 思路 仍 处 于 沿用 模糊 方法 、 聚 类 方法 、 人 
工 智能 等 方法 阶段 。 这 里 我 们 面 对 的 问题 是 怎样 才能 有 效 地 突破 传统 的 技术 并 


J 
































2 


:5 第 1 章 绪 论 


将 其 应 用 于 特征 融合 ， 来 帮助 我 们 获得 更 好 的 实质 性 效果 。 由 于 这 一 领域 具有 
非常 大 的 挑战 性 和 应 用 前 景 ， 专 家 学 者 都 在 努力 地 深入 探索 。 





| 民明 研究 现状 





在 信息 融合 目标 识别 方面 ， 国 外 起 步 相 对 国内 要 旱 。 早 在 20 世纪 70 年 代 末 
期 ， 美 国 科研 机 构 利 用 多 个 悬浮 水 下 声呐 ， 再 通过 使 用 当时 先进 的 计算 机 处 理 
技术 对 信和 号 进行 有 效 的 融合 处 理 后 发 现 ， 其 根据 处 理 后 的 数据 能 够 对 敌 方 潜艇 
的 位 置 进行 有 效 的 检测 。 事 实证 明 这 一 发 现 可 以 说 是 现代 战争 一 次 变革 的 开始 ， 
从 而 使 得 信息 融合 技术 进入 了 军事 研究 部 门 的 视野 。 

早 在 1973 年 ， 在 美国 国防 部 的 全 额 资助 下 ， 美 国 科 研 机构 利 用 基于 多 传 感 
器 对 信息 融合 技术 展开 了 深入 的 研究 。 至 此 ， 信 息 融合 技术 这 一 新 的 名 词 诞生 
了 ， 并 且 在 学 术 界 很 快 得 到 了 广泛 的 重视 并 发 展 起 来 。 在 著名 的 军事 CI 系统 
中 ， 它 不 仅 得 到 了 应 用 一 一 同时 通过 采用 多 种 传感器 来 有 效 地 收集 信息 ， 而 且 
在 工业 控制 、 智 能 机 器 人 、 海 洋 纹理 监视 、 空 中 交通 管制 和 综合 导航 等 领域 中 ， 
基于 多 传感器 开发 也 被 赋予 很 大 的 应 用 前 景 。 到 了 20 世纪 80 年代 ， 随 着 科学 技 
术 的 快速 发 展 ， 美 国 海陆 空 部 队 也 对 军事 战略 监视 系统 展开 了 研发 ， 通 过 利用 
信息 融合 技术 来 实现 对 目标 进行 有 效 的 跟踪 、 识 别 、 态 势 评估 和 威胁 估计 ， 并 
得 到 了 很 好 的 效果 。 同 时 基于 此 项 研究 成 果 ， 成 功 地 开发 出 了 世界 上 第 一 代 信 
息 融 合 系统 ， 即 集 战略 系统 、 海 洋 监 视 系统 和 小 型 战术 系统 为 一 体 的 系统 。 美 
国 国防 部 于 1998 年 将 信息 融合 保密 作为 一 项 重点 研究 开发 的 关键 技术 之 一 。 如 
今 英 、 美 、 德 、 法 等 发 达 国 家 中 都 有 许多 顶尖 的 技术 人 才 在 政府 的 资助 下 对 数 
据 融 合 技术 进行 深入 研究 ， 他 们 将 大 量 的 研究 成 果 公 开发 表 在 各 种 学 术 期 刊 和 
学 术 会 议 上 。 进 入 21 世纪 后 ， 在 实际 应 用 中 信息 融合 识别 技术 得 到 了 快速 的 发 
展 和 开发 。 比 如 在 2000 年 ， 加 拿 大 Safe Software 公司 成 功 地 将 自己 的 产品 空间 数 
据 操 作 引 苟 (FME) 打 入 到 中 国 市 场 ， 它 是 通过 基于 多 年 来 对 数据 融合 技术 研究 
成 果 的 积累 ， 才 成 功 开发 出 来 的 空间 数据 格式 转换 的 实际 应 用 软件 。 目 前 根据 用 
户 反 馈 的 数据 统计 来 看 ， 其 软件 得 到 了 非常 好 的 认可 度 。 美 国 国防 部 曾 委托 雷 声 
公司 ， 利 用 多 传感器 信息 融合 技术 为 美国 陆军 研制 可 有 效 提 供 远 程 先 进 侦察 监视 
的 目标 识别 系统 。 这 套 传感器 主要 包含 了 视频 传感器 、 红 外 传输 系统 、 基 于 人 有 眼 
安全 的 激光 测 距 仪 和 GPS 干涉 仪 。 充 分 利用 了 各 个 传感器 的 特点 ， 既 可 以 成 像 ， 
也 可 通过 电视 传感器 传输 实时 融合 成 像 ， 至 少 帮助 图 像 提高 了 50% 的 清晰 度 ， 而 
且 关 键 的 是 系统 的 目标 探测 有 效 距 离 相 对 原来 的 系统 提高 了 3 倍 。 

国内 虽然 在 多 传 感 带 数据 融合 目标 识别 这 方面 相对 国外 起 步 比 较 晚 ， 技 术 不 
够 成 熟 ， 但 是 在 军事 应 用 方面 也 时 刻 关 注 国外 的 发 展 ， 并 努力 积极 进行 研究 和 开 
发 。 在 非 盏 事 领 域 ， 我 国 也 投入 了 充足 的 科研 经 费 ， 也 得 到 了 很 大 的 进展 。 如 基 
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于 人 类 生物 特征 指纹 和 人 脸 身 份 识别 系统 ， 它 们 在 考勤 、 安 防 等 方面 取得 了 很 好 
的 开发 成 果 。 主 要 开发 成 果 如 下 : 基于 指纹 和 人 脸 的 融合 身份 识别 、 掌 纹 和 视 网 
膜 的 融合 身份 识别 、 可 见 光 和 红外 融合 的 人 脸 吴 份 识别 等 ; 基于 遥感 图 像 特征 融 
合 目标 识别 ， 通 过 使 用 遥感 技术 来 对 目标 进行 有 效 探测 ， 并 通过 利用 基于 多 传 感 
器 和 多 光谱 的 遥感 图 像 来 进行 特征 融合 ， 从 而 能 够 获得 目标 的 位 置 、 性 质 和 身份 
属性 等 信息 ; 基于 特征 级 融合 的 交通 智能 系统 ， 主 要 应 用 在 对 驾驶 员 疲劳 驾驶 警 
示 系 统 中 ; 基于 多 传 感 吉 特征 融合 的 工业 系统 ， 主 要 应 用 在 工业 系统 故障 诊断 中 。 

寺 征 融合 在 目标 识别 中 处 于 一 个 非常 重要 的 处 理 环节 ， 但 是 目前 人 们 对 特 
征 融 合 的 研究 仍然 停留 在 对 样本 能 提取 什么 样 的 特征 、 如 何 选择 合适 的 融合 规 
则 。 目 前 对 于 融合 算法 开发 ， 主 要 基于 应 用 对 象 需求 来 对 其 展开 设计 。 理 论 上 
还 没有 一 套 统一 体系 与 评价 体系 。 对 于 在 特征 融合 目标 识别 的 研究 中 ， 广 大 学 
者 的 注意 力主 要 在 处 理 算法 、 融 合 识别 的 结构 与 框架 和 对 特征 融合 识别 系统 如 
何 进行 建 模 与 实现 等 问题 上 ， 这 几 方 面 中 研究 热度 最 高 的 是 对 融合 识别 中 使 用 
的 算法 及 信息 融合 系统 在 各 领域 中 具体 的 应 用 。 

目前 信息 融合 技术 主要 可 分 为 特征 级 融合 、 数 据 级 融合 和 决策 级 融合 这 三 
部 分 。 数 据 信 息 融 合 主要 是 解决 实际 中 遇 到 的 问题 ， 如 传感器 中 解决 时 域 协调 
性 的 问题 ， 在 全 局 坐标 中 解决 相关 的 一 致 性 检验 、 坐 标的 变换 、 信 息 的 同化 、 
数据 的 关联 等 问题 ， 其 中 最 环 手 的 问题 是 解决 一 致 性 检验 和 数据 的 关联 。 而 特 
征 级 与 决策 级 融合 的 识别 算法 与 人 工 智能 紧密 结合 进行 应 用 是 比较 常见 的 。 当 
前 比较 主流 的 算法 主要 有 卡尔 曼 滤 波 法 、 加 权 平 均 法 、N-P 法 、 错 误 率 最 小 化 
方法 、 贝 叶 斯 法 、 证 据 组 合 (D-S) 法 、 神 经 网 络 法 、 模 糊 理论 法 、 聚 类 分 析 法 
等 。 目 前 在 基于 特征 级 融合 识别 方法 的 应 用 中 ,大 家 都 广泛 采用 的 算法 主要 是 
N-P 法 、 神 经 网 络 法 、 模 糊 理论 法 、 聚 类 分 析 法 及 各 类 混合 算法 。 

目前 都 是 基于 同一 传 感 融 通过 对 图 像 进行 不 同方 向 、 时 刻 和 角度 的 特征 采 
集 来 进行 有 效 的 融合 '"”"” ， 而 由 于 技术 原因 ， 对 基于 多 传感器 图 像 特征 信息 融 
合 的 应 用 还 相对 不 多 。 由 于 信息 融合 处 于 目标 识别 系统 的 前 一 级 ， 属 于 “心脏 ” 
地 位 ， 其 处 理 过 程 是 非常 复杂 且 上 共有 一 定 的 不 确定 性 ， 以 目前 我 们 所 知 的 理论 、 
技术 、 设 备 来 对 信息 融合 方法 进行 研究 还 是 达 不 到 很 高 的 要 求 。 虽然 如 此 ， 我 
们 的 一 些 成 果 还 是 成 功 地 广泛 应 用 在 了 生活 和 军事 诸多 领域 中 ， 如 医疗 领域 中 
的 CRT 图 像 检 测 ; 生物 领域 中 的 指纹 识别 、 人 脸 识 别 等 ; 军事 战场 上 的 目标 识 
别 〈 如 坦 到 、 飞 机 等 ) 。 随 着 计算 机 的 不 断 快 速 发 展 ， 处 理 速度 越 来 越 快 ， 融 合 
的 计算 处 理 速 度 效果 也 越 来 越 快 ， 但 是 在 面 对 数 量 非常 庞大 的 目标 和 特征 信息 
时 ， 由 于 缺少 成 熟 的 特征 关联 融合 理论 及 其 理论 工具 ， 在 模式 识别 方法 中 ， 模 
糊 方法 、 聚 类 方法 、 神 经 网 络 方法 、 人 工 智 能 等 方法 依旧 是 研究 特征 级 融合 目 
标识 别 的 主要 方法 。 目 前 国内 外 专家 学 者 都 在 积极 探索 如 何 将 这 些 理论 和 技术 
应 用 于 特征 融合 中 ， 从 而 获得 令 人 满意 的 效果 。 
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第 2) 章 厂 一 一 一 一 一 一 一 一 
特征 级 融合 目标 识别 的 基本 理论 


信息 融合 目标 识别 结构 


多 传感器 信息 融合 目标 识别 系统 一 般 处 理 流 程 有 : 传感器 采集 信息 预 处 理 、 
信息 配 准 、 信 息 融 合 、 特 征 提取 以 及 目标 识别 。 按 信息 抽象 程度 ， 多 传感器 信 
息 融 合 一 般 分 为 三 个 层次 ， 即 数据 级 信息 融合 、 特 征 级 信息 融合 、 决 策 级 信息 
融合 。 多 传感器 信息 融合 目标 识别 系统 结构 如 图 2-1 所 示 。 























站 数据 级 特征 级 决策 级 | 
外 融合 融合 融合 


EE A a 


图 2-1 多 传感器 信息 融合 目标 识别 系统 结构 图 


数据 级 融合 是 较 低 层次 的 融合 ， 它 是 对 来 自 同等 量 级 的 传感器 原始 数据 直 
接 进 行 综合 和 分 析 ， 在 基于 传感器 的 融合 数据 上 进行 特征 提取 和 吴 份 估计。 它 
要 求 传 感 需 必须 是 同类 型 或 是 相同 量 级 ， 例 如 若干 个 可 见 光 传 感 品 或 红外 传 感 
器 和 可 见 光 传感器 的 组 合 。 数 据 级 融合 通过 对 传感器 原始 数据 进行 关联 和 配 准 ， 
来 确定 已 融合 的 数据 是 否 与 同一 目标 或 实体 有 关 ， 通 过 传感器 融合 数据 完成 与 
单传 感 器 相同 的 识别 处 理 过 程 。 

决策 级 融合 目标 识别 是 指 每 个 传感器 对 目标 的 位 置 、 属 性 、 身 份 等 做 出 初 
步 识 别 后 ， 再 对 这 些 多 个 识别 结果 进行 融合 判断 决策 ， 给 出 最 终 的 目标 识别 结 
果 。 该 级 融合 对 通信 带宽 要 求 最 低 ， 但 识别 的 结果 相对 来 说 最 不 准确 。 

特征 级 融合 目标 识别 就 是 利用 各 个 传感器 获取 的 目标 信息 ， 利 用 特征 提取 
方法 提取 目标 特征 数据 ， 运 用 特征 融合 算法 融合 特征 数据 使 原始 目标 特征 信息 
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变 为 融合 特征 数据 ， 再 利用 目标 识别 分 类 算法 ， 进 行 目标 识别 分 类 。 通 过 特征 
级 融合 ， 目 标 有 效 信息 得 到 足够 保留 ， 且 有 效 信息 损失 比 决策 级 低 很 多 ,但 是 
目标 识别 能 力 比 具有 庞大 数据 量 处 理 的 数据 级 融合 目标 识别 稍 低 ， 但 比 决策 级 
融合 目标 识别 精确 很 多 ， 提 高 了 目标 识别 的 实时 性 、 准 确 性 。 


寺 征 级 融合 目标 识别 系统 基本 结构 


特征 级 融合 的 目标 识别 是 指 从 多 传感器 获取 的 目标 原始 信息 中 提取 目标 特 
征 信息 ， 应 用 融合 算法 将 其 进行 融合 成 复合 特征 信息 量 ， 利 用 分 类 识别 方法 识 
别 目标 的 过 程 ， 如 图 2-2 所 示 。 经 过 预 处 理 〈 增 强 、 滤 波 、 消 品 、 分 割 等 ) 的 
多 传感器 系统 采集 的 目标 原始 信息 ， 经 特征 提取 系统 获取 目标 信息 的 充分 表示 
量 或 充分 统计 量 的 特征 信息 ， 典 型 的 特征 信息 有 边缘 、 形 状 、 轮 廊 、 角 、 纹 理 、 
相似 亮度 区 域 、 相 似 景 深 区 域 等 ， 在 进行 融合 目标 识别 处 理 时 特征 信息 与 多 传 
感 如 图像 融 合 的 应 用 目的 和 场合 相关 ， 通 过 特征 融合 目标 识别 算法 对 目标 特征 
信息 进行 分 类 识别 。 通 过 特征 级 融合 目标 识别 可 以 在 原始 图 像 中 挖掘 相关 特征 
信息 、 增 强 特征 信息 的 有 效 性 、 排 除 干扰 识别 的 虚假 特征 、 建 立 融合 特征 等 ， 
从 而 提高 识别 率 和 识别 效率 。 特 征 级 融合 的 目标 识别 对 传感器 配 准 要 求 不 是 十 
分 严格 ， 因 此 传 感 吕 可 以 分 布 在 不 同 的 平台 上 。 特 征 级 融合 的 目标 识别 优点 在 
于 可 观 的 信息 压缩 ， 可 实现 实时 处 理 。 
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要 目标 识别 
届 区 阁 法 上 让 结果 (人 

















图 2-2 特征 级 融合 的 目标 识别 系统 结构 图 


和 村 征 级 融合 的 目标 识别 原理 如 图 2-3 所 示 。 
目标 特征 获取 : 从 物理 传 感 融 原始 数据 中 利用 特征 提取 算法 提取 和 选择 有 
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样本 特征 库 























识别 结果 


图 2-3 特征 级 融合 的 目标 识别 原理 图 





效 的 包含 目标 信息 的 目标 特征 数据 (AL1，A2，A3，…; B1，B2，B3，…; Cl1， 
C2，C3，.…;，…)。 

特征 融合 : 对 以 上 目标 特征 数据 通过 融合 算法 ， 降 低 特征 空间 维 数 ， 保 证 
维 数 压缩 后 特征 数据 的 、 能 量 和 相关 性 不 改变 ， 消 除 提取 的 特征 空间 中 特征 
表示 向 量 之 间 的 宛 余 信息 ， 获 得 融合 特征 量 (Ax，Bx，Cxz，…; …)。 

分 类 识别 : 通过 目标 识别 算法 结合 目标 样本 特征 数据 库 中 存放 的 各 种 潜在 
目标 特征 融合 数据 (AL1，A2，A3，…; Bl1, B2, B3, …; Cl, C2, C3, 1…; 
…) 进行 分 类 识别 待 识别 目标 。 

传感器 获取 的 目标 原始 信息 一 般 目 标 信 息 都 较 弱 上 且 包含 噪声 ， 必 须 对 其 进 
行 预 处 理 〈 如 消除 噪声 、 增 强 目标 、 图 像 分 割 ) 。 然 后 从 经 过 预 处 理 的 原始 目标 
信息 中 通过 特征 提取 和 选择 ， 获 取 目 标的 融合 识别 特征 信息 。 在 目标 识别 之 前 ， 
应 建立 特征 数据 库 (包含 了 可 能 的 目标 特征 信息 ) ， 采 用 适当 的 分 类 识别 算法 比 
较 传 感 器 提取 的 目标 特征 与 特征 数据 库 中 的 特征 信息 ， 识 别 出 目 标 类 别 。 多 传 
感 器 系统 由 于 存在 异类 传感器 ， 从 传感器 提取 的 特征 信息 内 容 与 形式 或 许 存在 
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不 同 ， 通 过 融合 算法 将 这 些 信息 转换 成 统一 形式 ， 使 目标 特征 信息 之 间 可 以 相 
互 比较 和 综合 。 对 于 单一 目标 ， 特 征 提取 后 即 可 进行 目标 的 分 类 识别 ;对 于 多 

















目标 ， 需 要 通过 各 传感器 提供 的 信息 ， 判 断 目标 属于 系统 航 迹 数据 库 中 的 田 
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条 航 迹 ， 判 定 各 传感器 提取 的 目标 特征 属于 哪 一 个 目标 ， 进 行 信息 相关 确定 。 
根据 信息 相关 的 结论 ， 可 由 位 置 融合 获得 的 目标 属性 信息 〈 如 经 纬度 、 速 度 、 























加 速度 等 ) 辅助 完成 目标 识别 。 最 后 由 分 类 识别 算法 根据 特征 数据 库 中 的 目标 





特征 信息 对 目标 进行 分 类 识别 。 














目前 ， 信 息 融 合 目标 识别 系统 受 软 、 硬 件 等 技术 能 力 制约 ， 还 与 传感器 物 








理性 质 和 质量 、 通 信 等 有 关 ， 实 际 应 用 环境 并 不 普遍 适用 。 


寺 征 级 融合 目标 识别 的 关键 问题 分 析 








2.3.1 特征 数据 库 
多 传感器 信息 融合 目标 识别 的 识别 率 和 实时 性 在 很 大 程度 上 取决 于 特 生 








F 数 


据 库 建立 的 完备 程度 。 现 有 的 目标 识别 算法 模式 ， 都 需要 与 先 验 模式 进行 比较 。 





将 各 种 可 能 存在 的 目标 特征 信息 存放 在 特征 数据 库 中 。 因 为 目标 特征 数据 库 构 
成 了 目标 识别 分 类 器 的 先 验 模式 集 。 它 包含 了 各 种 目标 的 特征 信息 ， 也 可 以 包 
含 目标 的 身份 信息 和 辐射 源 参 数 等 详细 信息 。 特 征 信息 是 可 被 各 种 传感器 直接 
或 间接 测量 的 实 变量 提取 的 特征 数据 ， 如 幅度 的 直观 特征 、 统 计 特 征 、 变 换 系 
数 特征 、 代 数 特征 等 。 身 份 信 息 属 于 非 实 值 变量 ， 是 对 目标 的 详细 分 类 描述 ， 
例如 目标 的 类 型 、 种 类 、 级 别 和 发 射 机 型 号 等 。 辐 射 源 参 数 包括 可 被 电子 文 援 



























































间 施 (ESM) 检测 到 的 辐射 源 名 字 和 类 别 ， 例 如 载 频 、 重 频 、 脉 帘 和 脉 幅 等 。 
2.3.2 特征 提取 
面 对 各 种 异 质 传 感 器 组 合 的 多 传感器 系统 ， 传 感 器 的 物理 探测 原理 不 








同 ， 


获取 的 目标 信息 有 图 像 和 非 图 像 类 等 较 大 的 性 质 差 异 ， 并 且 信 息 量 巨大 。 如 何 








选择 特征 提取 方法 ， 能 提取 出 目标 独 有 的 、 可 用 于 区 别 其 他 目标 的 最 本 质 的 信 

















息 属 性 是 特征 级 融合 目标 识别 的 难点 ， 也 是 关键 点 。 多 传感器 获取 的 目标 特征 











有 代数 特征 、 图 像 视觉 特征 、 图 像 统计 特 征 、 变 换 特征 等 。 
2.3.3 特征 融合 














特征 融合 的 过 程 就 是 将 特征 提取 后 特征 信息 通过 融合 处 理 ， 获 得 多 个 特征 

















数据 的 特征 综合 一 一 一 种 新 的 联合 特征 量 ， 为 目标 的 识别 处 理 、 决 策 提供 服务 。 
特征 融合 算法 是 对 提取 的 原始 目标 特征 空间 降低 了 特征 空间 维 数 ， 消 除 提 
取 的 特征 空间 中 特征 表示 向 量 之 间 的 宛 余 信息 ， 并 且 保 证 维 数 压缩 后 特征 数据 
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的 依 、 能 量 、 相 关 性 不 改变 ， 利 于 后 继 的 目标 识别 。 总 之 ， 特 征 融合 算法 就 是 
获得 有 利于 目标 识别 的 有 将 的、 低 维 的 特征 表示 向 量 。 

特征 融合 在 部 分 文献 和 研究 者 中 也 称 为 特征 选择 ， 特 征 提 取 和 特征 选择 有 
些 系统 是 合 在 一 起 ， 有 些 是 分 开 ， 算 法 中 它们 没有 明确 的 界限 ， 即 特征 提取 和 
村 征 选 择 、 特 征 融合 是 融合 在 一 起 的 算法 。 特 征 融合 分 为 目标 状态 信息 融合 和 
目标 特性 信息 融合 。 目 标 状态 信息 融合 用 于 目标 跟踪 ， 主 要 是 实现 状态 矢量 的 
估计 和 参数 的 相关 。 而 特征 级 目标 特性 融合 主要 实现 目标 属性 特性 的 联合 ， 实 
现 目标 属性 种 类 的 判定 。 

特征 融合 算法 按 特征 向 量 的 产生 方式 可 划分 为 特征 选择 和 特征 组 合 两 类 实 
现 方法 。 特 征 选择 方法 是 将 待 融 合 的 所 有 特征 量 放 在 一 起 ， 用 某 种 方法 从 原 向 
量 选择 产生 一 个 新 的 特征 向 量 ， 例 如 ， 遗 传 算法 、Tabu 搜索 算法 等 。 特 征 组 合 
方法 将 所 有 特征 向 量 按 某 种 规则 组 合成 新 的 特征 向 量 ,， 例 如 ， 串 行 和 并 行 融合 
策略 。 遗 传 算法 详 见 第 9 前， 串 行 和 并 行 融合 策略 是 简单 而 有 效 的 特征 融合 方 
法 ， 其 缺点 就 是 所 有 大 量 特征 信息 全 部 保留 ， 存 在 大 量 的 宛 余 特征 量 ， 数 据 维 
数 高 ， 计 算 复 杂 ， 影 响 识别 的 精确 性 和 实时 性 。 

1) 串 行 特征 融合 方法 : 设 样 本 模式 空间 0 的 两 个 特征 空间 为 4 和 B， 对 
研 e 0 的 任意 样本 ， 特 征 量 可 以 表示 为 ae A 和 BeB。 串 行 特 征 融 合 方法 就 是 将 
a、B 冲 成 了 一 个 特征 量 yY， 公 式 如 下 : 


y= (| (2-1) 


由 式 (2-1) 可 知 , 车 a 是 n 维 的 , 6 是 m 维 ,那么 串 行 组 合 的 特征 量 y 是 
(m+n) 维 。 因 此 ， 由 串 行 融合 而 成 的 特征 量 构成 (m+n) 维 的 融合 特征 空间 ， 
后 续 的 目标 分 类 识别 就 是 在 这 个 融合 特征 空间 中 进行 。 

2) 并 行 特征 融合 方法 : 设 样 本 模式 空间 2 的 两 个 特征 空间 为 4 和 BB。 对 于 
厂 e 0 的 任意 样本 ,特征 量 可 以 表示 为 ae A 和 BeB。 并行 特征 融合 方法 将 a、 
B 两 个 特征 量 并 成 了 一 个 复合 量 y， 公 式 如 下 : 

y=a+iB (2-2) 
式 中 ，i 为 虚数 单位 。a 和 局 特征 量 维 数 不 一 致 时 ， 低 维 的 特征 量 需 要 补 0， 两 个 
特征 量 才 能 并 行 融 合 。 例 如 ,a =(a ，o,， Qs)", B=(B,，B,)"， 则 首先 将 6 变 
为 B=(B,，B,，0) ， 然 后 融合 成 融合 特征 量 y = (a +ip,，om +iB;,，aQs +i0)。 

定义 一 个 在 Q 上 的 并 行 融合 特征 空间 C= |a+i 认 laeA4A, BeB|。 这 是 一 个 

n 维 的 复 向 量 空 间 ， 其 中 = max| dim4，dimB| 。 在 这 个 空间 里 ， 内 积 可 定义 为 
(X,Y) =X"Y (2-3) 
式 中 , XX，Ye C，H 表示 共 轧 转 置 。 
定义 以 上 内 积 的 复 向 量 空间 ， 称 为 酉 空间。 在 酉 空间 可 引入 以 下 范 数 : 
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1Z1= V2Z= SE (+8) (2-4) 


式 中 ,2Z = (a +iB,，Q +iB,，…，a, + 认 ,) 。 相 应 地 ， 复 向 量 Z| 和 2, 之 间 的 
距离 可 定义 为 





12, -2,|= (Zi -2Z,)" (ZZ,) (2-5) 

遗传 算法 等 优化 算法 的 特征 融合 方法 与 串 行 、 并 行 特征 融合 方法 相 比 ， 可 

以 获得 更 有 效 的 、 低 维 的 融合 特征 表示 向 量 , 但 是 融合 过 程 较 串 行 、 并 行 特征 
融合 方法 耗费 的 时 间 长 ， 但 是 降低 了 后 续 的 目标 识别 分 类 时 间 。 


2.3.4 目标 识别 


特征 级 融合 的 目标 识别 算法 目前 都 是 基于 模式 识别 的 方法 ， 可 分 为 统计 模 
式 识 别 、 句 法 模式 识别 、 模 糊 模式 识别 、 人 工 智能 方法 。 统 计 模式 识别 、 句 法 
模式 识别 这 两 种 方法 比较 成 熟 ， 发 展 得 较 早 ， 但 是 自身 缺点 很 多 ， 现 在 用 得 较 
少 。 后 两 种 方法 目前 都 是 研究 的 热点 ， 应 用 也 较 多 ， 由 于 模糊 模式 识别 和 人 工 
智能 方法 都 允许 样本 有 较 大 的 缺损 、 畸 变 ， 目 前 这 两 种 方法 都 在 积极 的 探索 中 。 

(1) 统计 模式 识别 

统计 模式 识别 又 称 统计 决策 法 ， 它 的 理论 基础 是 概率 论 和 数理 统计 。 其 主 
要 方法 包括 线性 分 类 、 非 线性 分 类 、 贝 叶 斯 决策 、 聚 类 分 析 等 分 类 方法 ， 是 发 
展 较 早 、 也 比较 成 熟 的 一 种 方法 。 为 此 而 引入 鉴别 函数 ， 由 特征 矢量 计算 出 对 
应 于 各 类 别 的 鉴别 函数 值 ， 通 过 鉴别 函数 值 的 比较 实行 分 类 。 其 主要 优点 是 比 
较 成 熟 、 能 考虑 干扰 噪声 等 影响 、 识 别 模式 基 元 能 力 强 ; 缺点 是 对 结构 复杂 的 
模式 抽取 特征 困难 、 不 能 反映 模式 的 结构 特征 ， 难 以 描述 模式 的 性 质 ， 难 以 从 
整体 角度 考虑 识别 问题 。 

(2) 句法 模式 识别 

句法 模式 识别 也 称 为 语言 学 方法 、 结 构 方 法 。 句 法 模式 识别 的 方法 是 用 简 
单 的 子 模式 组 合 描述 一 个 模式 ， 更 简单 的 子 模式 的 组 合 又 可 描述 子 模式 ， 结 构 
描述 最 终 得 到 一 个 树 形 ， 模 式 基 元 就 是 在 底层 的 最 简单 的 子 模式 。 在 句法 模式 
中 选取 基 元 就 是 目标 识别 中 选取 特征 。 对 模式 提供 紧凑 并 反映 其 结构 关系 的 描 
述 就 是 基 元 的 要 求 ， 并 且 抽 取 可 以 用 非 句法 方法 。 重 要 的 结构 信息 并 不 包含 在 
基 元 本 身 。 模 式 描述 语句 就 是 一 组 基 元 与 基 元 的 组 合 关 系 形 成 模式 的 描述 ， 类 
似 于 语言 中 词组 合成 为 短语 和 句子 的 作用 ， 而 词 是 用 字符 组 合 而 成 的 。 语 法 来 
指定 基 元 组 合成 模式 的 规则 。 一 旦 基 元 被 鉴别 ， 识 别 过 程 可 通过 句法 分 析 进 行 ， 
即 分 析 给 定 的 模式 语句 是 否 符合 指定 的 语法 ， 满 足 某 类 语法 的 即 被 分 人 该 类 。 

(3) 模糊 模式 识别 

面 对 甲 、 乙 两 类 归属 问题 ,传统 的 二 值 逻 辑 模式 ， 对 样本 A 或 者 属于 甲 ， 
或 者 属于 乙 。Zadeh 在 1965 年 提出 模糊 集 理 论 ， 将 传统 的 二 值 0 和 1 的 逻辑 模 
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式 转化 为 逻辑 (0，1) 区 间 ， 此 种 对 事物 刻画 的 模式 改变 了 片面 、 单 纯 的 通过 
事物 内 涵 描 述 其 特征 的 方式 ， 并 且 提 出 了 综合 事物 内 涵 与 外 延性 态 的 数学 模型 
构建 了 隶属 度 函 数 。 模 糊 逻 辑 面 对 甲 、 乙 两 类 归属 问题 ， 认 为 A 既 属 于 甲 ， 又 
属于 乙 ， 判 断 两 者 归属 的 结果 是 根据 A 在 甲 、 乙 两 类 中 的 隶属 度 即 归属 程度 不 
同 。 模 糊 模式 识别 与 普通 的 模式 识别 方法 相 比 ， 具 有 客体 信息 表达 更 加 合理 ， 
信息 利用 充分 ， 各 种 算法 简单 灵巧 ， 识 别 稳定 性 好 ， 推 理 能 力 强 的 特点 。 模 糊 
模式 识别 思想 方法 对 解决 模式 识别 问题 起 到 了 很 大 的 推动 作用 。 

如 何 建立 隶属 度 函 数 是 模糊 模式 识别 的 关键 ， 但 是 如 何 建 立 比 较 合 理 的 隶 
属 度 函数 目前 还 是 难点 ， 是 需要 进一步 解决 的 问题 。 模 糊 统计 法 、 横 糊 分 布 法 、 
二 元 对 比 排序 法 、 相 对 比较 法 和 专家 评分 法 等 是 目前 的 主要 方法 。 这 些 方法 昌 
然 具 有 一 定 的 客观 规律 性 与 科学 性 ， 也 已 经 开始 应 用 并 取得 巨大 成 果 ， 但 建立 
时 也 需要 人 为 的 主观 因素 ， 因 此 怎样 建立 准确 合理 的 隶属 度 函 数 还 需要 进一步 
摸索 出 合理 的 、 普 适 的 理论 和 方法 。 

(4) 人 工 神经 网 络 识别 

人 工 神经 网 络 是 模拟 动物 神经 系统 的 某 些 功能 ， 采 用 软件 或 硬件 的 方法 ， 
建立 了 许多 以 大 量 处 理 单元 为 节点 ， 处 理 单元 间 实 现 (加 权 值 的 ) 互联 的 拓扑 
网 络 ， 进 行 横 拟 ， 称 为 人 工 神经 网 络 。 这 种 方法 可 以 看 作 是 对 原始 特征 空间 进 
行 非 线性 变换 ， 产 生 一 个 新 的 样本 空间 ， 使 得 变换 后 的 特征 线性 可 分 。 同 传统 
统计 方法 相 比 ， 其 分 类 器 是 与 概率 分 布 无 关 的 。 人 工 神经 网 络 的 主要 特点 在 于 
其 具有 信息 处 理 的 并 行 性 、 自 组 织 性 和 自 适应 性 ， 具 有 很 强 的 学 习 能 力 和 联想 
功能 以 及 容错 性 能 等 ， 在 解决 一 些 复杂 的 模式 识别 问题 中 显示 出 了 其 独特 的 
优势 。 

人 工 神 经 网 络 是 一 种 复杂 的 非 线性 映射 方法 ， 其 物理 意义 比较 难 解释 ， 在 
理论 上 还 存在 一 系列 量 待 解决 的 问题 。 例 如 在 设计 上 ， 网 络 层 数 的 确定 和 节点 
个 数 的 选取 带 有 很 大 的 经 验 性 和 育 目 性 ， 缺 乏 理论 指导 ， 网 络 结构 的 设计 仍 是 
一 个 尚未 解决 的 问题 。 在 算法 复杂 度 方 面 ， 神 经 网 络 计算 复杂 度 大 ， 在 特征 维 
数 比 较 高 时 ,样本 训练 时 间 比 较 长 ;在 算法 稳定 性 方面 ， 学 习 过 程 中 容易 陷入 
局 部 极 小 ， 并 且 存 在 欠 学 习 与 过 学 习 的 现象 ， 范 化 能 力 不 容易 控制 。 这 些 也 是 
制约 人 工 神经 网 络 进一步 发 展 的 关键 问题 。 


本 章 小 结 























































































































在 各 种 环境 下 对 目标 进行 有 效 的 目标 特征 提取 并 识别 是 非常 困难 的 ， 仅 仅 
依靠 一 种 或 少数 几 种 特征 很 难 准确 地 进行 特征 级 融合 的 目标 识别 ， 必 须 尽 可 能 
利用 异类 多 传感器 收 集 到 的 多 种 目标 特征 信息 综合 出 完善 的 目标 特征 信息 及 有 
效 的 识别 算法 进行 目标 特征 级 融合 识别 。 
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在 努力 提高 特征 提取 的 有 效 性 和 可 分 性 的 同时 要 兼顾 识别 效率 ， 使 目标 特 
征 信息 数据 少 而 精 ， 从 而 使 识别 算法 能 实时 地 在 工程 应 用 中 发 挥 效用 。 基 于 异 
类 传感器 特征 级 融合 的 目标 识别 技术 正在 迅猛 发 展 ， 已 经 逐步 渗透 到 现代 生活 
的 各 个 领域 。 如 何 恰当 和 充分 地 利用 这 一 技术 和 概念 进行 信息 处 理 ， 解 决 关键 
问题 ， 提 高 目标 识别 的 准确 率 ， 从 而 增强 识别 的 效率 ， 还 有 诸多 课题 、 算 法 需 
要 探索 和 研究 。 
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第 3) 章 | 一 一 一 一 一 一 一 一 
多 源 图 像 的 预 处 理 





本 书 研 究 的 多 源 图 像 的 分 割 方法 主要 采用 分 水 岭 算 法 ,但 是 采用 分 水 岭 算 
法 分 割 的 缺陷 之 一 是 对 图 像 中 的 噪声 很 敏感 ， 从 而 使 得 分 割 后 的 图 像 不 能 得 到 
正确 的 轮 廊 信息。 因此， 对 于 改进 分 水 岭 算 法 的 方法 中 ， 图像 预 处 理 是 必 不 可 
少 的 步 又 。 图 像 预 处 理 是 整个 图 像 处 理 系统 的 关键 环节 ， 而 且 也 是 图 像 识别 、 
图 像 理解 、 图 像 分 割 的 前 期 处 理 的 程序 。 图 像 预 处 理 的 目的 是 改善 处 理 质 量 下 
降 的 图 像 ， 从 而 提高 图 像 在 图 像 处 理 系 统 中 和 视觉 上 的 质量 。 图 像 预 处 理 主 要 
包括 : 图 像 去 噪 、 图 像 平滑 、 图 像 滤 波 、 图 像 特 征 增 强 、 图 像 恢 复 等 。 


多 源 图 像 的 去 噪 


多 源 图 像 成 像 传感器 在 拍摄 图 像 的 过 程 中 ， 由 于 使 用 的 器 件 的 局 限 性 ， 在 
一 定 程度 上 会 增加 噪声 ， 严 重 影响 了 多 源 图 像 的 视觉 效果 ， 甚 至 影响 了 正常 识 
别 。 因 此 ， 去 除 多 源 图 像 中 的 噪声 是 多 源 图 像 预 处 理 的 一 项 重要 的 步 又 。 


3.1.1 噪声 分 析 


目前 ， 在 多 源 图 像 系统 中 ， 扫 描 多 维 图 像 转换 为 一 维 信号 ， 再 进行 存储 、 
传输 、 转 换 和 处 理 ， 最 后 通过 信和 号 的 重组 ， 变 成 多 维 图 像 信 号 和 输出。 与 此 同时 ， 
多 源 图 像 中 携带 的 图 像 噪声 也 同样 受到 分 解 和 合成 ， 在 这 个 过 程 中 ， 由 于 受 外 
界 和 电气 系统 本 身 的 影响 使 得 多 源 图 像 的 噪声 变 得 相当 复杂 。 多 源 图 像 的 噪声 
按 其 起 源 不 同 ， 常 见 的 有 电子 噪声 、 拌 动 噪声 、 电 噪声 、 胶 片 颗粒 噪声 。 

电子 噪声 是 由 于 阻 性 器 件 中 的 电子 不 规则 热 运动 而 形成 ， 经 常 使 用 均值 为 
零 的 高 斯 白 噪 声 表 示 电 子 噪 声 的 模型 ， 并 用 零 均 值 高 斯 白 品 声 的 标准 差 来 完全 
代表 电子 噪声 的 强 弱 ; 抖动 噪声 是 由 承载 物体 或 采集 装置 等 机 械 运 动 引起 的 一 
种 噪声 ; 光电 子 噪 声 的 本 质 是 光 的 统计 性 质 和 传感器 中 光 诱 导 的 电 转 换 引 发 的 
一 种 噪声 ， 经 常 使 用 泊 松 分 布 作为 其 模型 ， 特 别 的 ， 当 在 光线 较 强 时 ， 泊 松 分 
布 趋 于 高 斯 分 布 ; 胶片 颗粒 噪声 是 因为 在 曝光 过 程 中 只 有 个 别 被 曝光 ， 而 引起 
颗粒 密度 发 生 转 变 而 产生 的 一 种 噪声 。 通 常情 况 下 ， 胶 片 颗粒 噪声 采样 用 高 斯 
白 噪 声 表 示 其 有 效 模型 ， 其 分 布 呈现 一 种 随机 性 。 
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多 源 图 像 中 可 见 光 岁 像 的 噪声 除了 有 电子 噪声 、 抖 动 噪声 、 光 电子 噪声 、 
胶片 颗 粒 噪声 之 外 ， 还 有 转移 噪声 、 复 位 噪声 、 散 粒 噪 声 、 暗 流 噪 声 等 。 多 源 
图 像 中 的 红外 图 像 ， 由 于 受 环境 的 干扰 和 本 身 物 理 量 转变 的 影响 ， 使 得 红外 图 
像 的 噪声 情况 极为 复杂 。 红 外 图 像 中 的 噪声 有 热 噪声 、LM 噪声 、 散 粒 噪声 、 辐 
射 噪声 、 温 度 起 伏 噪 声 、 有 色 噪 声 。 热 噪声 是 由 于 分 子 热 运动 引发 载体 分 子 的 
热 运动 而 产生 的 噪声 ; 1/f 噪声 是 电流 运动 而 产生 的 噪声 ， 其 功率 谱 随 频率 成 反 
比 变换 ， 因 而 在 低频 段 时 ，1/f 噪声 较 显 著 ; 散 粒 噪 声 是 由 半导体 器 件 中 产生 的 
重组 载体 的 变化 率 引 发 的 ; 辐射 噪声 通常 称 为 光子 噪声 ， 是 接收 器 件 的 极限 噪 
声 且 属于 和 白 噪 声 ， 该 噪声 功率 谱 是 均匀 的 ， 且 该 噪声 与 频率 无 关 ; 有 色 噪 声 的 
光谱 响应 是 非 均匀 的 。 

总 之 ， 多 源 图 像 的 噪声 是 内 、 外 部 噪声 于 一 体 的 综合 噪声 源 ， 为 了 减少 多 
源 图 像 噪声 对 分 水 岭 分 割 结果 的 影响 ， 提 高 多 源 图 像 的 品质 ， 多 源 图 像 进行 有 
效 的 去 品 处 理 是 特别 重要 的 。 

多 源 图 像 理 想 消 哈 效 果 体 现在 消除 多 源 图 像 品 声 的 同时 保护 或 加 强 图 像 的 
特点 信息 。 于 是 ， 多 源 图 像 消 噪 的 研究 工作 也 是 围绕 这 一 效应 开展 的 。 只 有 兼 
顾 去 噪 和 保留 多 源 图 像 正确 的 轮廓 信息 的 前 提 下 ， 才 能 保证 通过 去 噪 处 理 后 的 
多 源 图 像 最 大 程度 地 接近 不 含 噪声 的 原始 图 像 。 因 而 ， 多 源 图 像 去 吕方 法 的 人 研 
究 具 有 重要 意义 ， 主 要 体现 在 以 下 几 个 方面 : 

1) 多 源 图 像 的 去 噪 处 理 使 得 多 源 图 像 的 信息 能 够 被 正确 识别 。 由 于 成 像 机 
理 的 不 同 ， 当 多 源 图 像 中 含有 的 噪声 比较 严重 时 ， 多 源 图 像 就 变 得 极为 模糊 ， 
不 仅 使 多 源 图 像 失去 了 存储 信息 的 实际 意义 ,而且 也 影响 了 对 多 源 图 像 的 观察 ， 
同时 也 干扰 了 对 多 源 图 像 信息 的 正确 理解 。 
















































































2) 多 源 图 像 的 去 品 人 处理 使 视觉 识别 信息 的 精度 得 到 了 提高 。 
3) 多 源 图 像 的 去 噪 处 理 为 多 源 图 像 做 进一步 图 像 预 处 理 提供 了 有 力 的 保证 。 
图 


4) 多 源 图 像 的 去 噪 处 理 方法 依据 有 差异 的 数学 理论 知识 。 这 些 方 法 的 内 部 
机 理 及 之 间 的 相应 关系 ， 对 探求 出 较 好 消 品 效 果 起 着 重大 作用 。 
5) 多 源 图 像 去 品 方 法 的 研究 具有 广阔 的 应 用 前 景 。 


3.1.2 常用 的 图 像 去 噪 方法 


多 源 图 像 经 常 使 用 的 消 噪 方式 有 空间 域 去 噪 和 变换 域 去 噪 。 空 间 域 去 噪 方 
法 是 原 图 像 上 的 像素 对 灰 度 值 进 行 数据 运算 操作 。 这 种 数据 运算 又 包含 点 运算 
和 局 部 运算 。 点 运算 是 像素 点 逐 点 运算 ; 局 部 运算 是 对 图 像 中 像素 点 域 的 相关 
空间 域 的 运算 。 变 换 域 去 噪 方法 是 对 多 源 图 像 进行 某 种 变换 处 理 ， 即 将 多 源 图 
像 从 空间 域 转 到 变换 域 后 ， 对 其 变换 后 的 系数 采取 相应 的 处 理 ， 最 终 将 处 理 后 
的 系数 通过 反 变 换 再 转换 到 空间 域 ， 来 完成 多 源 图 像 消 噪 的 目的 。 

空间 域 去 噪 方法 拥有 较 完整 的 理论 基础 并 且 是 典型 的 去 噪 方法 。 局 部 平均 
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法 是 一 种 空间 域 消 噪 方法 中 的 经 典 方 法 。 局 部 平均 法 的 基本 思想 是 像素 灰 度 值 
用 像素 邻 域 各 像素 的 均值 灰 度 值 代替 ， 从 而 实现 图 像 去 噪 的 目的 。 在 此 方法 中 ， 
图 像 被 认为 是 由 多 个 灰 度 值 不 变 的 小 块 构 成 ， 邻 像素 间 空 间 相 关 性 极 强 ， 而 图 
像 中 的 噪声 则 是 统计 独立 的 ， 因 此 由 于 噪声 的 统计 独立 性 ， 该 方法 能 简单 快速 
地 去 除 噪 声 。 局 部 平均 法 中 普通 的 方法 是 非 加 权 邻 域 平 均 法 ， 该 方法 的 优点 是 
邻 域 中 的 每 个 像素 被 均等 地 对 待 ， 缺 点 是 在 去 噪 的 同时 会 在 边缘 和 细节 处 发 生 
模糊 现象 。 

变换 域 去 噪 方法 又 称 频 域 去 噪 法 ， 该 方法 利用 噪声 信号 和 有 用 信号 在 变换 
域 表现 出 的 不 同 特征 来 完成 有 效 地 去 除 噪声 的 目的 。 常 见 的 变换 域 去 品 方 法 有 
基于 独立 分 量 分 析 的 去 噪 算法 、 基 于 传 里 叶 变换 的 去 品 算 法、 基于 沃 尔 什 - 哈达 
玛 变 换 的 去 噪 算法 、 基 于 小 波 变换 的 去 噪 算法 、 基 于 离散 余弦 变换 的 去 噪 算法 、 
基于 多 尺度 几何 分 析 的 去 品 算 法 。 变 换 域 去 品 方 法 对 那些 空域 中 无 法 进行 有 效 
分 析 的 信号 进行 去 品 有 和 良好 的 效果 。 下 面 介绍 几 种 具有 代表 性 的 变换 域 去 噪 
方法 。 

(1) 基于 独立 分 量 分 析 的 去 噪 算法 

基于 独立 分 量 分 析 的 去 噪 算法 起 源 于 20 世纪 90 年 代 的 育 信 号 分 离 ， 能 够 对 
图 像 实施 特定 的 线性 分 解 ， 并 使 图 像 的 像素 分 解 成 为 独立 统计 分 量 ， 从 而 达到 
去 除 噪 声 的 目的 。 该 方法 的 缺陷 是 运算 复杂 度 高 并 且 运 算 时 间 较 长 ， 其 突出 的 
优点 是 ， 由 于 该 方法 假设 图 像 中 独立 成 分 为 非 高 斯 分 布 ， 因 而 能 够 有 效 地 区 分 
有 用 信号 和 噪声 。 

(2) 基于 傅 里 叶 变换 的 去 噪 算法 

基于 傅 里 叶 变换 的 去 噪 算法 的 基本 原理 是 图 像 中 的 有 用 信号 频谱 主要 集中 
在 某 个 限定 的 低频 带 ， 而 高 频带 主要 是 噪声 的 频谱 ， 利 用 低 通 滤波 方法 在 频 域 
内 完成 图 像 去 噪 的 目的 。 该 算法 的 性 能 优 劣 关键 依靠 于 低 通 滤波 器 的 性 能 优 劣 
和 截止 频率 的 合适 选择 。 此 算法 的 优点 是 能 够 有 效 地 去 除 高 频 噪 声 ， 缺 点 是 去 
噪 后 的 图 像 具有 模糊 边缘 和 细 闻 。 

(3) 基于 小 波 变换 的 去 噪 算法 

基于 小 波 变 换 的 去 品 算 法 的 原理 是 利用 一 个 母 函 数 在 空间 尺度 上 的 伸缩 与 
时 间 上 的 平移 获得 了 一 个 函数 族 ， 然 后 将 这 族 函 数 去 逼近 或 表示 信和 号， 从 而 获 
得 一 种 能 自 适应 各 种 频 变 成 分 的 有 效 信号 分 析 手 段 。 基 于 小 波 变 换 的 去 品 算 法 
不 仅 能 够 解决 非 整体 信息 的 图 像 的 去 噪 处 理 问 题 ， 而 且 还 能 获得 图 像 的 局 部 频 
谱 信息 ， 具 有 不 同 频率 特性 ， 弥 补 了 基于 傅 里 叶 变换 的 去 噪 算 法 中 不 能 描述 随 
时 间 变 化 的 频率 特性 的 不 足 。 


3.1.3 几 种 较 新 的 去 噪 方法 
多 源 图 像 的 去 品 方 法 有 许多 种 ,但 是 随 着 新 问题 的 不 断 出 现 而 使 学 者 们 研 
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究 出 了 许多 新 的 去 噪 方法 。 例 如 ， 基 于 阔 值 的 小 波 变换 的 去 噪 方法 、 基 于 模糊 
加 权 均 值 的 去 噪 方法 、 基 于 形态 学 开 闭 运算 的 去 噪 方法 等 。 

1， 基 于 阔 值 的 小 波 变换 的 去 噪 方法 

多 源 图 像 经 过 基于 小 波 变换 的 去 噪 算法 处 理 后 ， 其 图 像 中 幅 值 较 大 的 小 波 
系数 一 般 为 有 用 信号 ， 而 幅 值 较 小 的 小 波 系数 一 般 情况 下 是 噪声 信号 ， 因 此 选 
择 一 个 最 佳 的 阔 值 进行 阔 值 处 理 小 波 系数 ， 就 可 以 把 有 用 信号 的 系数 保留 下 来 ， 
同时 去 除 大 部 分 的 噪声 系数 ， 甚 至 将 噪声 系数 减 小 到 零 ， 从 而 完成 去 噪 处 理 。 

基于 效 值 的 小 波 变换 的 去 噪 方法 ， 就 是 对 有 噪声 的 图 像 先 进行 一 次 小 波 变 
换 ， 得 到 几 个 分 量 ， 分 别 用 玉 'y 6 、W?y, 0p、Wy 来 表示 ， 用 HL,,、 
LHi, , 、HH1, ,来 表示 其 高 频 分 量 ， 将 这 些 分 量 作为 小 波 系数 ， 其 中 (k，1) 为 
二 维 小 波 变换 系数 ，j = 1，2，…，/ 儿 表示 分 解 层次 。 得 到 的 低频 分 量 LLi, ,用 
Woy 4 j 表 示 ， 且 认为 LL ,= Wy 4， 设计 算得 到 的 阐 值 为 和 A。 通常 采用 的 
闪 值 法 有 假设 检验 法 、 最 大 限度 地 减少 风险 阔 值 的 方法 、 贝 叶 斯 收缩 阔 值 法 。 
一 般 采 用 通用 的 阔 值 法 : A = e, ViogCN) ， 其 中 N 是 图 像 中 小 波 系数 的 总 数 ， 
0 ,是 噪声 的 标准 差 。 一 般 采 用 噪声 标准 差 鲁 棒 中 的 估计 值 ,为 MAD/0.6745， 这 
里 的 MAD 代表 对 原 图 像 的 第 一 次 小 波 分 解 获得 的 小 波 系数 的 中 值 。 一 般 情况 下 采 
用 直接 阔 值 法 对 小 波 变换 系数 取 y (其 中 i=0,， 1, 2, 3; j=1, 2, 3,…, 也 ) 
进行 阐 值 处 理 。 主 要 有 以 下 两 种 方式 。 

(1) 硬 阔 值 法 

先 对 噪声 图 像 实 施 小 波 变换 ， 忽 略 不 计 粗 尺 度 信号 ， 只 对 细节 信号 做 阔 值 
处 理 ， 当 某 个 位 置 小 波 变换 值 小 于 阅 值 时 将 其 置 零 ， 大 于 阔 值 时 将 其 保留 原 值 。 
其 表达 式 为 





























Wiy, i _ Wy; .np ， Wyte |=A (3-1) 
0， | Wy a. |<A 
最 后 ， 利 用 小 波 变 换 重 构 ， 求 出 去 噪 后 的 图 像 。 
(2) 软 阔 值 法 
先 对 噪声 图 像 实 施 小 波 变换 ， 并 求 得 带 有 噪声 的 小 波 系数 ， 再 将 细节 信和 号 
国 值 化 处 理 。 当 小 波 变换 在 图 像 中 的 位 置 值 小 于 阔 值 时 将 被 设置 为 零 ， 并 且 当 
小 波 变换 位 置 值 大 于 阔 值 时 ， 进 行 以 下 运算 ， 其 中 sgn(x) 为 符号 函数 。 
i sgn (Wy (1 ) [| Wy ,0 | -A]， | Wy ,0 |=A 
Wy (0 = i 
0 [Wy nn | <A 
最 后 对 小 波 系数 到 yn 的 估计 值 丈 ' 7 做 小 波 变换 的 反 变 换 以 重建 图 像 ， 
得 到 去 噪 后 的 图 像 。 
2. 基于 模糊 加 权 均 值 的 去 噪 方法 
基于 模糊 加 权 均 值 的 去 噪 方法 依赖 于 模糊 隶属 度 函 数 的 概念 ， 对 加 权 均 值 


(3-2) 
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优化 处 理 ， 使 其 不 仅 能 有 效 地 降低 高 斯 噪声 ， 同 时 也 对 混合 噪声 及 脉冲 噪声 有 
较 好 的 抑制 能 力 。 该 方法 的 优点 是 既 能 保护 图 像 的 边缘 信息 ， 也 能 有 效 地 减弱 
边缘 模糊 现象 。 
3. 基于 形态 学 开 闭 运算 的 去 噪 方法 
基于 形态 学 开 闭 运算 的 去 噪 方法 的 基本 思想 是 借助 数学 形态 学 ， 用 特定 形 
态 的 元 素 去 衡量 并 提取 与 之 相应 的 原 图 像 中 的 形状 ， 当 结构 元 件 移 动 到 原始 图 
像 ， 我 们 可 以 研究 图 像 中 各 部 分 的 相互 关系 ， 以 了 解 图 中 各 部 分 的 结构 特点 ， 
区 分 有 用 的 图 像 信 息 和 图 像 信 息 的 噪声 ， 为 了 达到 目的 ， 从 而 完成 去 噪 处 理 。 
因此 ， 该 方法 去 噪 效 果 主 要 依赖 于 其 结构 元 素 的 选取 。 常 用 的 结构 元 素 包 括 ; 
圆 形 、 方 形 、 萎 形 、 六 边 形 、 线 段 等 。 目 前 没有 特定 的 方法 选取 结构 元 素 ， 只 
能 根据 图 像 要 求 的 处 理 结果 及 图 像 本 身 特征 来 决定 。 
数学 形态 学 是 由 一 组 形态 学 基本 的 代数 算 子 构成 ， 它 的 基本 运算 包含 : 开 、 
闭 运 算 ， 腐蚀 ， 膨 胀 。 
集合 B 腐蚀 集合 4 表示 为 48B， 其 定义 为 
AOB=N{A-b, beB}= NA.,, (3-3) 
通过 腐蚀 运算 对 图 像 进 行 腐蚀 操作 后 ， 若 所 有 结构 元 素 均 为 正 值 ， 则 输出 
图 像 比 输入 图 像 偏 暗 ; 若 输 入 图 像 的 细节 小 于 结构 元 素 的 区 域 ， 则 细节 亮 的 效 
果 会 被 削弱 。 因 此 ， 腐 蚀 运算 能 够 使 图 像 边界 向 内 部 紧缩 及 消除 边界 点 的 特征 。 
腐蚀 的 对 偶 操 作 是 膨胀 ,集合 B 膨胀 集合 4 表示 为 48B， 其 定义 为 
A®B =U{A+b, beB}= U4, (3-4) 
膨胀 运算 对 图 像 进行 膨胀 操作 后 ， 若 所 有 结构 元 素 均 为 正 值 ， 则 输出 图 像 
比 输入 图 像 偏 亮 ， 与 此 同时 暗 细节 的 效果 会 被 减弱 。 因 此 ， 膨 胀 运算 能 够 使 图 
像 边界 向 外 部 扩张 。 
基于 腐蚀 和 膨胀 运算 可 以 推导 出 各 种 数学 形态 学 的 基本 运算 。 开 运算 和 闭 
运算 就 是 这 两 种 运算 的 组 合 运 算 。 集 合 B 对 集合 4 的 开 运 算 就 是 先 做 腐蚀 运算 
后 做 脱 胀 运算 ， 表示 为 4。B, 其 定义 为 
A.B=(A8B)®B (3-5) 
开 运 算 的 优势 体现 在 能 够 去 除 比 结构 元 素 要 小 的 突出 的 亮点 噪声 ， 并 且 能 
够 维持 图 像 整 体 区 域 的 特征 以 及 大 部 分 的 灰 度 层级 。 开 运算 的 对 偶 运 算是 财运 
算 ， 集合 B 对 集合 4 作 闭 运算 就 是 先 做 膨胀 运算 再 做 腐蚀 运算 ， 表 示 为 4.B， 
定义 为 







































































A.B=(A®B)OB (3-6) 

闭 运 算 的 优点 是 不 仅 能 够 在 不 明显 改变 物体 的 形状 和 面积 的 前 提 下 对 图 像 
做 去 噪 处 理 ， 而 且 能 够 在 连接 邻近 物体 的 同时 填充 图 像 内 部 的 细小 空洞 。 因 此 ， 
对 同一 幅 图 像 使 用 相同 的 结构 元 素 做 形态 学 开 闭 运算 的 去 噪 人 处 理 ， 闭 运算 能 
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起 到 削弱 膨胀 运算 对 边界 扩张 的 作用 ; 而 开 运 算 则 能 够 起 到 补充 被 腐蚀 消除 的 
部 分 图 像 的 作用 。 因 而 形态 学 开 闭 运算 的 去 噪 方法 具有 良好 的 去 噪 效 果 和 保持 
清晰 的 目标 轮廓 的 优点 ， 与 其 他 去 噪 算法 相 比 ， 它 的 这 个 优点 更 为 显著 。 

图 像 质 量 评价 中 的 主观 评价 也 是 人 类 视觉 特性 ， 但 评估 质量 受 人 为 因素 的 
影响 ， 不 能 准确 地 描述 图 像 的 定量 分 析 ， 因 此 本 章 采 用 图 像 的 两 种 主要 的 客观 
评价 来 比较 基于 阔 值 的 小 波 变换 的 去 噪 方法 、 基 于 模糊 加 权 均 值 的 去 噪 方法 、 
基于 形态 学 开 闭 运算 的 去 噪 方法 这 几 种 新 的 去 噪 方法 的 优 劣 。 采 用 的 两 种 主要 
的 客观 评价 方法 是 峰值 信 噪 比 (PSNR) 和 信 噪 比 (SNR) ， 其 中 峰值 信 噪 比 可 
定量 描述 对 图 像 的 去 品质 量 ; 信 噪 比 用 来 比较 含 噪声 的 原 图 像 与 去 噪 后 图 像 的 
质量 ， 信 噪 比 越 大 ， 图 像 品质 就 越 好 。 表 3-1 列 出 了 几 种 较 新 的 去 噪 方法 的 峰 
值 信 噪 比 和 信 噪 比 。 

表 3-1 几 种 较 新 的 去 噪 方法 的 峰值 信 噪 比 和 信 噪 比 (单位 : dB) 






































方法 种 类 峰值 信 噪 比 祝 噪 比 
基于 硬 阔 值 的 小 波 变换 的 去 噪 方法 18. 75 6. 32 
基于 软 阔 值 的 小 波 变换 的 去 噪 方法 19. 62 7. 18 
基于 模糊 加 权 均 值 的 去 噪 方法 18. 69 6. 29 
基于 形态 学 开 闭 运算 的 去 噪 方法 19. 85 7.37 





因此 ， 由 表 3-1 中 的 数据 可 知 ， 基 于 模糊 加 权 均 值 的 去 噪 方法 的 峰值 信 噪 
比 和 信 噪 比 是 最 低 的 ， 而 基于 形态 学 开 闭 运算 的 去 噪 方法 的 峰值 信 噪 比 和 信和 只 
比 是 最 高 的 。 因 而 ， 相 对 于 其 他 去 噪 方法 ， 采 用 基于 形态 学 开 闭 运算 的 去 噪 方 
法 得 到 的 图 像 去 品质 量 较 高 、 效 果 较 好 。 

本 章 采 用 了 基于 形态 学 开 闭 运 算 的 去 噪 方法 对 多 源 图 像 做 去 噪 处 理 ， 使 得 
多 源 图 像 在 被 分 水 岭 算 法 分 割 之 前 不 仅 消除 了 无 规则 的 明暗 噪声 和 细节 扰动 ， 
而 且 也 消除 了 易 导 致 过 分 割 的 区 域 噪声 与 细节 ， 更 重要 的 是 使 多 源 图 像 的 重要 
轮廓 得 以 保留 。 因 此 ， 此 形态 学 开 闭 运算 去 噪 方法 对 改进 分 水 岭 算法 起 到 了 关 
键 作 用 ， 它 使 分 水 岭 分 割 算法 对 图 像 中 噪声 敏感 的 缺 隐 有 所 改善 ， 更 为 重要 的 
是 它 使 分 水 岭 算 法 分 割 前 输入 的 多 源 图 像 具 有 正确 的 轮廓 信息 ， 即 对 修正 多 源 
图 像 起 到 了 关键 作用 ， 为 分 水 岭 算 法 正确 、 有 效 的 分 割 英 定 了 一 定 的 基础 。 

采用 了 基于 形态 学 开 财 运算 的 去 噪 方法 对 分 水 岭 算 法 的 改进 ， 不 仅 是 利用 
它 的 去 噪 处 理 改善 多 源 图 像 的 输入 质量 ， 更 重要 的 是 利用 它 对 多 源 图 像 去 噪 的 
同时 也 将 多 源 图 像 进行 梯度 化 处 理 ， 将 多 源 图 像 变 成 它 的 梯度 图 输出 。 因 为 分 
水 岭 算 法 的 基本 思想 来 源 自 地 理学 ， 将 被 分 割 图 像 视 作 地 形 图 并 求 取 梯 度 图 像 ， 
因此 采用 基于 形态 学 开 闭 运算 的 预 处 理 恰好 是 分 水 岭 分 割 前 的 第 一 步 ， 即 图 像 
梯度 化 处 理 。 传 统 的 梯度 化 处 理 方 法 是 通过 微分 算 子 ， 例 如 Sobel 、Prewitt、 
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Canny 等 求 得 梯度 图 。 而 本 章 选 用 形态 学 开 闭 运算 的 图 像 即 为 梯度 图 像 ， 是 因为 
形态 学 梯度 运算 有 非 线 性 的 特点 ， 能 够 加 强 图 像 中 极 值 对 比 度 ， 并 且 能 够 保护 


ni 


图 像 中 目标 轮廓 的 区 域 。 
本 章 采 用 VC ++6. 0 开发 环境 编程 调试 完成 形态 学 开 闭 运算 的 去 噪 算法 ， 实 


验 结果 如 图 3-1 和 图 3-2 所 示 。 其 中 图 3-1 为 可 见 光 图 像 的 形态 学 开 闭 运算 去 噪 
后 的 图 像 ， 图 3-2 为 红外 图 像 的 形态 学 开 闭 运算 去 品 后 的 图 像 。 








na 















坦克 国 像 。 旦 克 去 品 图 像 飞机 图 像 飞机 去 噪 图 像 
qd) 





景观 图 像 景观 去 噪 图 像 





e) 
图 3-1 可 见 光 图 像 去 噪 后 的 图 像 


人 图 像 人 去 噪 图 像 汽车 图 像 汽车 去 噪 图 像 








坦克 图 像 坦克 去 噪 图 像 飞机 图 像 飞机 去 噪 图 像 


c) d) 


图 3-2 红外 图 像 去 噪 后 的 图 像 
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多 源 图 像 的 平滑 


由 于 本 书 采 用 的 分 水 岭 算 法 在 分 割 过 程 中 会 出 现 很 微小 琐碎 、 无 语义 学 含 
义 的 分 割 的 小 区 域 ， 因 此 ， 为 了 克服 分 水 岭 初始 分 割 的 区 域 数 众 多 的 弊端 ， 本 
章 采 用 图 像 平 请 算法 对 去 噪 后 的 多 源 图 像 进行 处 理 ， 目 的 是 补充 邻 域 信息 同时 
填补 空余 ， 并 且 连 接 细小 零碎 的 区 域 断口 以 减少 初始 分 割 的 区 域 数 。 

常见 的 图 像 平 请 方法 分 为 线性 方法 和 非 线性 方法 。 线 性 方法 一 般 使 用 一 个 
固定 的 平滑 模板 作用 于 图 像 ， 或 称 其 移动 平均 法 ; 非 线性 方法 一 般 采 用 不 同方 
向 系数 的 平滑 模板 平滑 图 像 ， 而 这 种 模板 是 由 某 些 统计 特性 的 图 像 中 相 邻 像素 
的 分 类 排序 所 决定 的 。 线 性 方法 包括 : 均值 平滑 法 、 邻 域 平 均 法 、 算 术 均 值 平 
滑 法 、 几 何 均值 平滑 法 、 谐 波 均值 平滑 法 、 逆 谐 波 均值 平滑 法 、 阿 尔 法 均值 平 
滑 法 等 算法 ; 非 线性 方法 包括 : 加 权 平 均 法 、 梯 度 倒 数 加 权 法 、 算 数 加 权 法 等 
算法 。 综 合 上 述 讨论 ， 本 节 将 重点 研究 均值 平滑 法 、 邻 域 平均 法 、 加 权 平 均 法 
以 及 图 像 平滑 中 一 种 典型 的 算法 ， 即 选择 式 掩 模 平 滑 法 。 


3.2.1 均值 平滑 法 


均值 平滑 法 是 求 图 像 中 像素 的 平均 ， 设 图 像 Fxz，y) 是 NxNN 的 阵列 , 图 
像 g(*，7y) 是 平滑 后 的 图 像 ， 并 且 包括 (x，y) 限定 邻 域 的 一 些 像素 灰 度 级 的 均 
值 确定 平滑 操作 后 的 图 像 g(x，y) 中 的 每 一 个 像素 的 灰 度 值 ， 因 而 平 请 操作 后 
的 图 像 g(x，y) 的 表达 式 表 示 如 下 : 


1 ，. 
8(%,7) = 之 f(i,7) (3-7) 


J) es 
式 中 ，$ 为 (*，y) 点 邻接 中 心 点 的 坐标 的 集合 且 不 包含 点 (x, y); 人 是 5 内 坐标 
点 的 数目 ，*，y =0，1，2,，3，…，N-1。 这 种 均值 平滑 法 用 一 定 范畴 的 灰 度 平均 值 
取代 像素 值 ， 减 弱 了 图 像 灰 度 的 突变 现象 ,但 是 因为 图 像 的 边界 存在 这 种 突变 ， 因 
而 采用 均值 平滑 法 会 使 图 像 的 边缘 产生 模糊 效应 ， 不 能 达到 好 的 平滑 效果 。 


3.2.2 邻 域 平均 法 


均值 平滑 法 是 最 常用 的 线性 平滑 方法 ， 它 的 3 x3 的 模板 系数 均 为 1， 当 对 
此 模板 的 输出 响应 除 以 9 再 平滑 图 像 时 ， 这 种 方法 被 称 为 邻 域 平均 法 。 邻 域 平 
均 法 通常 采用 全 部 系数 都 取 一 样 值 的 3 x3 和 5 x5 的 模板 ， 表 示 如 下 : 









































1 1 111 
1 1 1 1 1 1 
1 1 
| 4 (3-8) 
1 11 1 1111 
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邻 域 平均 法 的 基本 思想 : 设 图 像 f(x，y) 为 输入 图 像 ， 图 像 g(*，y) 是 平 
滑 后 的 图 像 ，$ 是 点 (x, y) 的 邻 域 ， 那 么 它 的 四 邻 域 和 八 邻 域 的 坐标 集合 分 别 
表示 如 下 : 
S={(x,y+1), x,y -1) (xz+ly) (x -1,y)} (3-9) 
fx-1,y—1),(x,y -1),(x+1,y -1),(x—1,y) 
(x+1,y),(x—-1,y+1),(x,y+1),(x+1,y+1) 
四 邻 域 和 八 邻 域 的 邻 域 平均 法 平滑 图 像 ， 其 图 像 的 边缘 也 会 有 一 定 程度 的 
模糊 效应 ， 为 了 减弱 这 种 模糊 效应 ， 对 四 邻 域 和 八 邻 域 的 邻 域 平 均 法 进行 了 改 
进 ， 演 变 为 阔 值 邻 域 平 均 方 法 。 阔 值 邻 域 平 均 法 的 基本 思想 是 : 首先 要 处 理 的 
像素 的 平均 灰 度 值 不 包含 待 处 理 像 元 像素 值 ， 若 此 平均 值 与 待 处 理 像 元 像素 差 
的 绝对 值 大 于 靖 值 ， 则 用 灰 度 平 均值 代替 像素 值 ; 相反 ， 如 果 该 差 值 的 绝对 值 
小 于 国 值 ， 此 时 该 像素 的 灰 度 值 保持 不 变 。 姜 值 邻 域 平均 法 的 数学 表达 式 如 下 : 


(3-10) 














9 Bf my fey) < 
8(%,y) = 1 | 
末 es my n) Mean Ss myn) —f(x,y) > 了 
(3-11) 


国 值 邻 域 平均 法 的 关键 是 阔 值 7 的 预先 选 定 ， 大 了 太 小 ,会 使 图 像 边缘 的 
模糊 效应 显著 ， 和 若 了 太 大 ， 则 会 使 去 噪 效果 变 差 ， 因 此 依靠 移 验 知识 选取 恰当 
的 阀 值 尤为 重要 。 可 见 ， 上 述 均值 平滑 法 、 邻 域 平均 法 对 图 像 平滑 后 ， 图 像 均 
有 一 定 的 模糊 程度 ， 给 后 续 图 像 处 理 带 来 一 定 的 困难 。 为 了 克服 均值 平滑 法 、 
邻 域 平均 法 中 简单 局 部 平均 的 缺陷 ， 可 采用 加 权 平 均 法 平滑 图 像 。 


3.2.3 ”加权 平均 法 


加 权 平 均 法 的 基本 原理 是 将 参与 平均 的 像素 赋予 不 同 的 权重 。 一 般 情况 下 
依据 距离 待 处 理 像素 的 远近 确定 权 值 或 依据 与 待 处 理 像 素 的 灰 度 值 的 接近 程度 
确定 权 值 。 当 图 像 中 的 像素 距离 待 处 理 像 素 较 远 时 ， 此 像素 赋予 较 小 的 权 值 ; 
当 图 像 中 像素 的 灰 度 值 与 待 处 理 像 素 灰 度 值 偏差 大 时 ， 此 像素 被 赋予 较 小 的 权 
值 。 因 此 ， 从 权 值 上 可 以 区 分 出 一 些 重要 的 像素 ， 从 而 达到 平滑 图 像 的 目的 。 
但 是 ， 该 方法 受 牵 制 的 因素 很 多 ， 例 如 ， 怎 么 选取 邻 域 点 的 权重 系数 ， 怎 么 选 
取 参 与 平均 的 点 数 以 及 怎么 选用 邻 域 的 形状 、 大 小 以 及 方向 。 因 此 这 种 方法 也 
不 是 最 佳 的 图 像 平滑 方法 。 


3.2.4 选择 式 掩 模 平 滑 法 


由 于 均值 平滑 法 、 邻 域 平 均 法 在 平滑 时 ， 均 存在 由 平均 化 引起 的 尖 镜 边缘 
和 轮廓 线条 模糊 的 缺陷 ;而 加 权 平 均 法 又 受 很 多 牵制 因素 的 影响 ， 因 此 研究 一 
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种 自 适应 的 局 部 平滑 算法 显得 尤为 上 必要。 选择 式 掩 模 平 滑 法 就 是 依据 图 像 的 背 
景 与 目标 通常 情况 下 具备 不 近 相 同 的 统计 特征 ， 因 而 具有 不 同 的 方差 和 均值 ， 
它 以 模板 运算 为 基础 ， 分 别 计算 每 个 模板 的 平均 值 及 方差 ， 然 后 选取 方差 最 小 
的 模板 进行 平均 化 而 完成 自 适应 局 部 平滑 操作 。 选 择 式 掩 模 平 滑 算 法 的 优势 是 

能 够 较 好 地 保留 图 像 细 节 ; 补充 邻 域 信息 同时 填补 空 穴 ， 并 且 连 接 细 小 零碎 的 
区 域 断口 ， 能 够 获得 比较 清晰 的 边缘 轮廓 。 

选择 式 掩 模 平 滑 算法 选用 5 x5 的 模板 ， 在 模板 中 选用 中 心 像素 (*，y) 作 
为 基准 点 ， 构 造 4 个 六 边 形 、4 个 五 边 形 、1 个 边 长 为 3 的 正方 形 的 模板 。 

使 用 上 述 类 型 的 模板 依次 计算 出 各 个 模板 下 的 均值 和 方差 ， 其 中 式 (3-12) 
是 均值 的 计算 公式 , 式 (3-13) 是 方差 的 计算 公式 。 


El) 
人 











(3-12) 


-过 [f°(x,y) - M2] (3-13) 
在 式 (3-12) 与 式 (3-13) 中 ， NN 对 应 于 各 掩 模 的 像素 个 数 ， k=1，2, …,，N。 
通过 式 (3-12) 计算 得 到 的 M., 进 行 排序 ， 再 计算 相应 的 方差 ， 最 后 找到 方差 最 
小 的 掩 模 的 相应 灰 度 值 的 均值 人 ， 并 将 这 个 均值 作 平 滑 结果 输出 。 
本 章 采 用 VC ++6. 0 开发 环境 编程 调试 完成 选择 式 掩 模 平滑 算法 ， 并 将 此 平 
滑 算 法 对 形态 学 开 闭 运算 去 噪 后 的 结果 图 像 做 平滑 操作 ， 其 实验 结果 如 网 3-3 
和 图 3-4 所 示 ， 其 中 图 3-3 为 可 见 光 图 像 的 选择 式 掩 模 算法 的 平滑 结果 图 像 ， 
图 3-4 为 红外 图 像 的 选择 式 掩 模 算法 的 平滑 4 吉 果 图 像 。 











至 地 
| 3 Ew Un Ly 
a) 人 平滑 图 像 b) 汽车 平滑 图 像 Do 坦克 平滑 图 像 





gd) 飞机 平 济 图 像 6) 景观 平滑 图 像 
图 3-3 可见 光 图 像 平滑 结果 图 像 
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A 





a) 人 平滑 图 像 b) 汽车 平滑 图 像 





0) 坦克 平滑 图 像 d) 飞机 平滑 图 像 


图 3-4 红外 图 像 平滑 结果 图 像 


多 源 图 像 的 滤波 


本 书 选用 分 水 岭 算法 对 多 源 图 像 实施 分 割 操作 ， 而 分 水 岭 算 法 要 求 梯度 图 
像 输 入 ， 因 此 本 章 已 经 采用 基于 形态 学 开 闭 运算 的 预 人 处理 将 多 源 图 像 转 变 成 
梯度 图 像 ， 但 是 这 种 载 人 的 梯度 图 像 极 易 受 噪声 的 影响 ， 可 能 会 使 图 像 中 的 
局 部 分 割 线 发 生 偏 移 ， 严 重 时 可 能 会 丢失 局 部 分 割 线 ， 而 造成 多 源 图 像 中 的 
目标 和 背景 粘连 在 一 起 ， 从 而 导致 不 能 完成 分 割 的 目的 。 因 此 ， 对 平滑 处 理 
后 的 多 源 图 像 的 梯度 图 像 进行 滤波 处 理 ， 去 除 梯度 图 像 中 的 噪声 和 杂 波 ， 并 
且 提 高 输出 的 梯度 图 像 的 质量 及 信 品 比 ， 对 改善 分 水 岭 的 分 割 效 果 有 极其 重 
要 的 作用 。 

目前 ， 主 要 的 滤波 方法 有 低 通 滤波 、 高 通 滤波 、 中 值 滤波 、 维 纳 滤波 等 。 
其 中 低 通 滤 波 又 包括 : 理想 低 通 滤波 、 指 数 低 通 滤波 和 巴特 沃 效 〈Butterworth ) 
低 通 滤波 ; 高 通 滤 波 又 包含 : 理想 高 通 滤 波 、 指 数 高 通 滤波 和 巴特 沃 兹 高 通 
滤波 。 


3.3.1 低 通 滤波 


低 通 滤波 的 原理 是 去 除 傅 里 叶 变 换 中 所 有 高 频 成 分 ， 即 通 低 频 、 阻 高 频 ， 
保留 有 用 的 低频 信息 。 其 原理 框图 如 图 3-5 所 示 。 图 中 ,f(x*，y) 为 原始 图 像 ， 
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(u,v) 为 经 过 傅 里 时 变换 的 图 像 ，CG(x，2) 为 低 通 滤 波 后 的 图 像 ， 且 滤波 后 
的 图 像 G(wu，,，v) 要 经 过 低 通 滤波 的 传递 函数 H(wu,，v) 获得 ， 最 后 经 过 傅 里 叶 
道 变换 而 获得 去 噪 后 的 图 像 g(wu，v)。 滤 波 后 的 图 像 G(wu，,， wv) 的 表达 式 如 下 : 
fy 
二 


3-$ 低 通 滤波 原理 框图 








Flu,v) G(uv) 8g(uY 









Gl(u,v) =F(u,v)H(u,v) (3-14) 

低 通 滤波 包括 ， 理想 低 通 滤波 、 指 数 低 通 滤波 和 巴特 沃 兹 低 通 滤波 。 其 中 

理想 低 通 滤波 的 描述 见 式 (3-15)， 指 数 低 通 滤波 的 描述 见 式 (3-16)， 巴 特 沃 

效 低 通 滤波 的 描述 见 式 (3-17)。 其 中 ，D, 代 表 被 指定 距离 且 为 非 负 数值 ， 
D(u, v) 代 表 点 (u,v) 与 频率 矩形 原点 的 距离 。 








H( ) 1 D(u,v) <D, (3-15) 
A 0 D(u,v) >D,o 
H(u,v) = @ ll IL D0) Dol"| (3-16) 





H(u,v) = (3-17) 


1 
1+ (2-1)D(u,0) /D1 
由 于 图 像 中 高 频段 多 集中 噪声 频谱 ， 而 低 、 中 频段 常 集中 图 像 的 有 用 信 
息 ， 所 以 这 几 种 低 通 滤波 可 以 去 掉 突 变 的 高 频 成 分 与 尖峰 噪声 。 低 通 滤波 滤 
掉 了 跳 变 性 的 高 频 分 量 ， 这 就 意味 着 滤 除 了 图 像 边 缘 的 跳 变 信息 ， 从 而 造成 
了 图 像 边缘 模糊 现象 ， 因 此 ， 这 种 滤波 算法 是 以 牺牲 图 像 的 清晰 度 为 代价 而 
换取 的 。 


3.3.2 高 通 滤波 


高 通 滤波 的 原理 是 衰减 甚至 截断 大 部 分 的 低频 成 分 ， 保 留 高 频 成 分 ， 即 通 
高 频 、 阻 低频 。 高 通 滤波 的 实质 是 某 一 邻 域 内 像素 灰 度 值 的 平均 值 被 每 一 个 像 
素 灰 度 值 减 去 ， 若 这 个 像素 是 目标 像素 ， 则 它 的 值 与 邻 域内 像素 卷 积 后 的 值 相 
差 很 远 ， 晶 此 差 值 也 极 大 ; 反之 ， 若 这 个 像素 是 非 目 标 像素 ， 因 此 它 的 值 与 邻 
域 中 的 像素 卷 积 的 值 很 相似 ， 且 此 差 值 也 极 小 ， 因 而 可 以 滤 掉 每 个 像素 中 背景 
噪声 的 平均 值 。 高 通 滤波 的 原理 框图 如 图 3-6 所 示 。 其 中 , f(x,y) 是 原始 图 
像 ，F(u, v) 是 经 过 传 里 叶 转 换 后 的 图 像 ，G(wu,，v) 是 高 通 滤波 后 的 图 像 ， 且 
滤波 后 的 图 像 G(u, wv) 要 经 过 高 通 滤 波 的 传递 函数 H(wu,，v) 获得 ， 最 后 经 过 
傅 里 叶 逆 变换 而 获得 去 噪 后 的 图 像 g(w，wv) 。 

若 高 通 滤 波 的 脉冲 响应 函数 为 h(x，y)， 输 入 的 图 像 信 号 为 f(x*，y) ， 则 输 
出 的 滤波 后 的 图 像 信号 为 g(x,，y)， 且 输出 的 滤波 后 的 图 像 信 号 g(x，y) 的 表 
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Jooy) 8g(uY) 









F(uyv) G(uv) 
传 里 叶 变 换 


3-6 高 通 滤波 原理 框图 


达 式 见 式 (3-18); 其 频 域 表 式 见 式 (3-19) ， 其 中 F(wu, v) 是 输入 的 图 像 信 号 
f(x,，y) 的 伟 里 叶 变 换 ， 有 (wu, v) 为 高 通 滤波 的 脉冲 响应 函数 h(x，y) 的 傅 里 
叶 变 换 ，G(wu，,，v) 为 输出 的 滤波 后 的 图 像 信号 g(x，y) 的 傅 里 叶 变 换 。 因 此 ， 
整个 高 通 滤波 过 程 的 表达 式 见 式 (3-20)， 其 中 表示 侍 里 叶 变 换 ，F "表示 侍 
里 叶 首 变换 。 



















































































Gl(u,v) =H(u,v) Fu,v) (3-19) 
g(x,y) =F {FIf(x,y) JH(u,v)} (3-20) 








对 于 高 通 滤波 的 整个 过 程 ， 最 关键 的 就 是 选取 适当 的 脉冲 响应 函数 h(x，y)， 
利用 h(x,，y) 可 以 使 人 x,，y) 中 的 低频 分 量 衰减 ， 保 留 高 频 分 量 ， 起 到 高 通 滤 
波 的 作用 。 对 于 离散 的 多 源 图 像 的 数字 图 像 ， 高 通 滤波 的 脉冲 响应 函数 通常 情 
况 下 选用 卷 积 模板 ， 表 示 为 矩阵 瓦 。 关 于 模板 五 ， 它 的 中 心 像素 权 值 越 小 ， 信 和 号 
就 越 不 容易 通过 ; 反之 ， 其 中 心 像素 权 值 越 大 ， 信 号 越 容易 通过 ， 旦 权 值 周围 
部 分 全 为 1， 因 此 ， 高 通 滤波 保留 了 图 像 中 信号 强度 很 高 的 微小 目标 和 独立 噪声 
点 。 常 用 的 一 些 高 通 模板 有 万、 万 、 太 、 邦 等， 如 图 3-7 所 示 。 由 这 些 模板 演变 
出 许多 不 同形 式 的 高 通 滤 波 模板 ， 它 们 的 尺寸 也 不 尽 相 同 ， 因 此 滤波 效果 也 不 
相同 。 
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a)h b) h, c) h, d) hs 
3-7 常用 的 几 种 高 通 滤波 模板 


高 通 滤 波 方 法 一 般 情况 下 由 输入 图 像 与 经 过 低 通 滤波 后 的 图 像 的 差 值 取得 ， 
它 的 一 维 表达 式 见 式 (3-21) ， 其 中 f(n) 是 一 维 输入 信号 ，/(n) 是 低 通 滤波 的 
输出 信号 ，g(n) 是 滤波 输出 图 像 的 一 维 输出 信号 ，M 是 低 通 滤波 所 使 用 的 点 
数 。l(n) 的 描述 见 式 (3-22) 。 高 通 滤波 的 二 维 表达 式 见 式 (3-23 ) ， 其 中 ， 
f(i, 万 是 输入 图 像 的 信号 ，!( j) 是 低 通 滤波 的 输出 信号 ，g(i, j) 是 滤波 输 
出 图 像 的 二 维 输出 信号 ，M 是 低 通 滤波 半径 ，s(i, j,，m) 是 输入 图 像 的 信号 求 
和 运算 。1(i, 站 的 描述 见 式 (3-24)。s(i, j, m) 的 描述 见 式 (3-25)。 
g(n) =f(n) -Ll(n) (3-21) 
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a = fn) + -nD) (3-22) 
痢 gt) =f(i,) -1L(i,) (3-23) 
HY = vl2 -) sm) + (1 -二 ) sj,00) | (3-24) 


ey 1 上. 
s(i,J,m) = amt >» fl(i—-k,i—-n) (3-25) 
[i-k |=m 





常用 的 高 通 滤波 包含 ， 理 想 高 通 滤波 指数 高 通 滤波 和 巴特 沃 效 高 通 滤波 。 
其 中 理想 高 通 滤波 的 描述 见 式 (3-26) ， 指 数 高 通 滤波 的 描述 见 式 (3-27) ， 巴 特 
沃 效 高 通 滤波 的 描述 见 式 (3-28) 。 其 中 ， 记 代表 原点 与 截止 频率 之 间 的 距离， 
D(u, 由 代表 点 (w, 5) 与 原点 间 的 距离 ， 且 D(u，v) 的 描述 见 式 (3-29) ，n 
代表 控制 传递 函数 Eu，。) 从 原点 开始 计算 的 增长 率 。 
0 D(u,v) <D, 





Te >D, 35320) 
H(u,v) et] (3-27) 

1 
H(u,v) = 3-28 
CC 1+(G-1)LDAD(uso)] 
Dl(u,v) = Vu +v (3-29) 


以 上 几 种 高 通 滤 波 方法 均 可 以 使 图 像 的 部 分 边缘 变 得 更 加 清晰 ， 而 使 物体 
在 背景 中 更 为 突出 。 其 中 指数 高 通 滤波 由 于 具有 较 快 的 增长 率 ， 因 而 相对 于 其 
他 方法 来 说 更 能 保留 图 像 的 高 频 分 量 而 起 到 对 图 像 中 的 物体 勾 边 的 作用 。 但 是 ， 
高 通 滤波 虽然 能 去 除 背 景 ,但 对 系统 自身 噪声 (例如 点 噪声 等 ) 却 无 法 滤 除 ， 
而 且 在 处 理 图 像 时 ， 运 算 复杂 ， 运 算 量 极 大 ， 也 不 利于 硬件 实现 ， 因 此 ， 高 通 
滤波 对 多 源 图 像 的 梯度 图 像 的 滤波 效果 并 不 是 最 佳 的 。 


3.3.3 中 值 滤波 


中 值 滤波 是 一 种 邻 域 运 算 ， 是 通过 邻 域 像素 进行 排序 并 取 它 们 的 中 值 来 确 

定 中 心 像素 灰 度 的 一 种 处 理 方 法 。 它 首先 选择 某 个 像素 为 中 心 点 的 邻 域 ,再 对 

此 邻 域 像素 的 灰 度 值 实施 排序 操作 ， 找 到 它们 的 中 间 值 ， 并 将 此 中 间 值 替换 中 

心 点 像素 的 灰 度 值 。 中 值 滤 波 的 描述 见 式 (3-30)， 其 中 f(x, y) 是 输入 图 像 ， 
g(x,，y) 是 输出 的 中 值 滤波 图 像 ，4(x*，y) 是 像素 点 (x,，y) 的 邻 域 。 

g(x,y) =f(%,y) ~ med[f(%,7) ] (3-30) 

虽然 中 值 滤波 能 消除 一 定 的 噪声 ， 但 会 使 图 像 边 缘 模糊 ， 这 主要 与 所 选用 的 滤 

波 窗 口 的 大 小 相关 ， 帮 窗口 太 大 ， 会 使 图 像 中 线段 和 边缘 细节 受到 破坏 ; 否 窗 口 太 

小 ， 就 不 能 起 到 滤波 的 效果 。 因 此 ， 窗 口 尺寸 直接 关系 到 中 值 滤 波 的 效果 ， 必 须 考 
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虑 通过 窗口 时 ， 要 有 足够 的 参考 样本 ， 并 且 还 要 求 窗 口 尺寸 大 于 目标 尺寸 的 两 倍 ; 
与 此 同时 还 要 求 窗 口中 所 选取 的 参考 样本 的 形式 须 与 中 值 滤波 模板 匹配 。 可 见 ， 中 
值 滤波 是 受 许多 因素 限制 的 。 在 中 值 滤波 中 ， 对 于 每 次 移动 窗口 计算 中 值 时 ， 均 要 
求 对 窗口 内 的 所 有 像素 值 进行 排序 ， 显 然 这 是 个 大 开销 的 计算 量 ， 因 此 ， 中 值 滤波 
的 计算 效率 较 低 ， 如 果 将 其 应 用 于 实时 目标 检测 中 ， 它 将 会 占用 大 量 的 系统 时 间 ， 
从 而 导致 系统 的 实时 性 降低 。 中 值 滤波 对 于 一 些 细节 较 多 的 图 像 ， 尤 其 是 那些 点 、 
线 、 尖 项 细节 众多 的 图 像 ， 往 往 中 值 滤波 会 抑制 有 用 的 信号 ， 严 重 时 甚至 导致 图 像 
中 的 有 用 信息 丢失 。 因 此 ， 中 值 滤波 对 多 源 图 像 的 梯度 图 像 的 滤波 效果 也 不 是 
最 佳 的 。 


3.3.4 维 纳 滤波 


维 纳 滤波 的 基本 思想 是 通过 估计 每 个 像素 的 局 部 邻 域 的 均值 和 方差 来 完成 滤 
波 的 目的 ， 具体 地 ， 它 将 图 像 中 的 噪声 和 有 用 信息 均 看 作 是 随机 信号 ， 并 在 分 析 
统计 的 基础 上 对 随机 信号 采用 最 优 准 则 进行 滤波 处 理 。 假 设 图 像 g(i, j) 的 大 小 
为 MxN， 是 图像 g(i, j) 是 由 只 声 n(i, j) 和 真实 图 像 f(i, j) 组 成 的 ， 维 纳 滤 
波 的 最 终 目的 是 尽 可 能 地 降低 输出 图 像 1(i, j) 的 噪声 信号 n(i, j) ， 同 时 恢复 真 
实 图 像 f(i, j) 。e(i, 7) 被 定义 为 误差 信号 ， 且 其 描述 见 式 (3-31)。k 是 图 像 的 
均值 ， 其 描述 见 式 (3-32); o 是 图 像 的 方差 ， 其 描述 见 式 (3-33); MSE 代表 平 
均 误差 的 度量 ， 其 描述 见 式 (3-34); 输出 图 像 I(i, 7) 的 描述 见 式 (3-35)。 





























e(i,j) =f(iy) -1(i,) (3-31) 
p= > EE 

o = WD = Cy 
MSE = 3 Be (3-34) 
1(i,) -p+ [f(i,) -4] (3-35) 


维 纳 滤波 的 关键 是 最 优 准 则 的 选取 ， 且 它 的 性 能 好 坏 是 通过 均 分 误差 值 评 
价 的 。 均 分 误差 值 是 输出 图 像 与 均值 之 差 的 二 次 方 的 结果 ， 当 均 分 误差 值 越 小 
时 ， 维 纳 滤波 的 效果 就 越 好 。 由 于 维 纳 滤波 是 一 种 有 效 的 自 适 应 滤波 方法 并 且 
具有 良好 的 选择 特性 ， 因 此 其 方差 可 以 自 适应 地 调整 并 不 断 地 修正 维 纳 滤波 的 
输出 信号 ， 从 而 降低 了 维 纳 滤波 的 均 分 误差 值 ， 并 更 好 地 保护 了 图 像 的 高 频 特 
征 细节 信息 和 边沿 信息 ， 获 得 令 人 满意 的 滤波 结果 。 因 此 ， 采 用 维 纳 滤波 对 多 
源 图 像 的 梯度 图 像 进行 滤波 处 理 ， 来 提高 输出 的 梯度 图 像 的 质量 及 信 品 比 ， 为 
改善 分 水 岭 的 分 割 效果 黄 定 一 定 的 基础 。 
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本 章 采 用 VC ++6. 0 开发 环境 编程 调试 完成 维 纳 滤波 算法 ， 并 将 此 滤波 算法 
对 选择 式 掩 模 平 滑 后 的 梯度 图 像 做 滤波 人 处理， 其 实验 结果 如 图 3-8 和 图 3-9 
所 示 。 











2 2 


a) 人 滤波 图 像 中 汽车 浊 波 图 像 c) 坦克 滤波 图 像 








d) 飞机 滤波 图 像 ©) 景观 滤波 图 像 
3-8 可见光 图 像 的 维 纳 滤波 图 像 






| 一 


a) 人 滤波 图 像 b) 汽车 滤波 图 像 
c) 坦克 滤波 图 像 d) 飞机 滤波 图 像 


3-9 红外 图 像 的 维 纳 滤波 图 像 
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综 上 所 述 ， 本 章 对 多 源 图 像 做 了 以 下 图 像 预 处 理 : 形态 学 开 闭 运算 的 去 品 
处 理 、 选 择 式 掩 模 算法 的 平滑 处 理 以 及 维 纳 滤波 处 理 ， 从 而 改善 多 源 图 像 在 图 
像 处 理 系 统 中 和 视觉 上 的 质量 ， 从 而 对 改善 分 水 岭 算 法 的 分 割 效果 起 到 积极 的 
作用 。 


本 章 小 结 


本 章 主要 介绍 了 对 多 源 图 像 的 图 像 预 处 理 过 程 ， 主 要 包括 : 多 源 图 像 的 去 
品 、 平 滑 以 及 滤波 。 首 先 ， 介绍 了 多 源 图 像 的 去 品 人 处理， 例如， 对 多 源 图 像 的 
噪声 分 析 、 多 源 图 像 的 几 种 常用 的 去 噪 方法 以 及 几 种 较 新 的 去 噪 方法 ， 对 这 些 
去 噪 方法 的 去 噪 效 果 进 行 了 分 析 ， 并 最 终 选择 了 形态 学 开 闭 运算 作为 去 噪 算法 ; 
其 次 ， 闸 述 了 多 源 图 像 重 要 的 平滑 方法 以 及 对 这 些 平滑 方法 的 平滑 效果 做 了 比 
较 分 析 ， 且 最 终 选 择 了 选择 式 掩 模 平滑 算法 作为 平滑 算法 ; 再 次 ， 还 讲解 了 多 
源 图 像 常 用 的 滤波 方法 并 对 这 些 滤 波 方 法 的 滤波 效果 进行 了 分 析 ， 且 最 终 选 择 
了 维 纳 滤波 作为 滤波 算法 。 综 上 所 述 ， 本 章 介 绍 的 多 源 图 像 的 预 处 理 将 对 改善 
分 水 岭 算法 的 分 割 效果 起 到 重要 的 作用 。 
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《人 
结合 闪 值 分 割 的 分 水 岭 算法 


引言 


由 于 多 源 图 像 的 不 规则 性 ， 其 局 部 区 域 中 会 隐 含 存在 一 些 虚假 的 局 部 极 小 
值 ， 并 且 这 些 局 部 极 小 值 的 数量 远 远 大 于 目标 提取 的 个 数 ， 因 而 在 采用 分 水 
岭 算法 对 多 源 图 像 进 行 分 割 操作 时 ， 就 会 产生 过 分 割 现象 ， 从 而 造成 图 像 的 
目标 轮廓 难 以 被 提取 ， 目 标 不 能 被 正确 分 割 的 后 果 。 因 此 ,为 了 解决 传统 分 
水 岭 算法 中 虚假 的 局 部 极 小 值 过 多 与 过 分 割 问 题 ， 本 章 采 用 结合 阐 值 分 割 的 
分 水 岭 算 法 对 多 源 图 像 进行 国 值 优 化 操作 ,不 仅 消 除了 易 造 成 过 多 区 域 的 极 
小 值 ， 而 且 可 以 使 分 水 岭 算法 中 的 分 水 点 较 准确 地 定位 ， 同 时 也 得 到 了 具有 
一 定 意义 的 边界 特征 的 分 制图 像 ， 从 而 改善 了 传统 分 水 岭 算 法 中 易 产 生 过 分 
制 的 缺陷 。 


图 像 闪 值 分 割 概述 


阅 值 分 割 是 一 种 有 效 且 简单 的 基于 区 域 的 图 像 分 割 方法 ， 其 目的 是 将 图 像 
中 的 像素 集合 依据 灰 度 级 划分 ， 从 而 得 到 拥有 同等 性 质 的 每 个 区 域 以 及 具有 相 
同性 质 的 邻接 区 域 ， 且 每 个 区 域 都 与 实际 景物 对 应 一 致 。 阔 值 分 割 方法 的 基本 
思想 是 依据 图 像 中 要 分 制 的 目标 、 背 景 的 不 同 灰 度 特征 ， 通 过 取 一 个 最 佳 国 值 ， 
将 图 像 中 像素 点 隶属 于 目标 还 是 背景 划分 出 来 ， 从 而 将 图 像 划 分 为 两 类 区 域 的 
组 合 而 完成 图 像 分 割 的 目的 。 

闵 值 分 割 法 的 基本 原理 是 ,设置 有 差别 的 特征 阅 值 ， 对 要 分 割 图 像 的 所 有 
像素 点 实现 分 类 ， 即 利用 确定 的 阐 值 和 待 分 割 图 像 的 像素 点 的 灰 度 值 进行 比较 ， 
并 根据 对 比 结果 将 图 像 像素 分 为 目标 和 背景 这 两 类 像素 点 的 集合 。 假 设 原始 图 
像 为 g(x，y) ， 接 着 遵循 一 定 的 准则 确定 出 待 分 割 图 像 的 阔 值 7; 根据 此 阔 值 将 
小 于 国 值 了 的 像素 点 的 值 设 为 门 ， 将 大 于 或 等 于 冰 值 7 的 像素 点 设 为 1, ， 此 时 初 
始 图 像 g(x，y ) 就 被 分 割 为 两 部 分 ， 其 分 割 结 果 为 Kx，y) ， 且 图 像 Kx，y) 的 
表达 式 如 下 : 
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5 第 4 章 结合 阐 值 分 割 的 分 水 岭 算法 


1 g(x,y) < 了 
f(x,y) = 1 g(x,y) 7 (4-1) 
从 国 值 分 割 的 表达 式 中 可 以 看 出 ， 如 何 确定 出 最 佳 闵 值 是 整个 国 值 法 的 关 
键 ， 也 是 该 方法 的 难点 所 在 。 实 际 中 ， 图 像 中 的 像素 往往 要 被 分 为 几 类 ， 因 此 
一 个 单一 的 闵 值 是 不 够 的 ， 需 要 多 个 阐 值 对 图 像 中 的 像素 点 进行 分 类 操作 。 因 
而 单 阔 值 算法 是 多 阔 值 算法 的 一 种 特例 ， 多 阔 值 算法 又 是 单 阔 值 算法 的 进一步 
发 展 。 图 像 阔 值 分 割 的 框图 如 图 4-1 所 示 。 


待 分 割 图 像 分 割 结 果 输 出 
































多 阔 值 或 单一 闪 值 分 割 


了 


图 像 预 处 理 


图 4-1 图 像 阔 值 分 割 框图 














图 像 装 值 分 割 的 步骤 分 为 两 步 : 首先 ， 确 定 待 分 割 图 像 的 阅 值 7; 其 次 ,将 
待 分 割 图 像 的 阔 值 了 分 别 与 待 分 割 图 像 的 所 有 像素 的 灰 度 级 进行 比较 ， 从 而 最 
终 得 到 划分 了 区 域 的 图 像 ， 即 分 割 后 的 图 像 。 


常用 的 阅 值 分 割 方 法 


常用 的 国 值 分 割 方法 分 为 全 局 阐 值 法 、 局 部 阅 值 法 以 及 动态 阐 值 法 。 全 局 
国 值 法 是 求 出 图 像 最 佳 分 割 的 鸭 值 ， 它 包含 基于 点 的 全 局 浆 值 法 和 基于 区 域 
的 全 局 冰 值 法 ; 局 部 阅 值 法 是 指 将 要 分 割 的 图 像 划 分 为 一 些 子 图， 然后 对 这 
些 子 图 采用 全 局 浆 值 法 依次 求 出 最 佳 分 割 国 值 进行 图 像 分 制 。 换 名 话说 ， 局 
部 阅 值 法 是 图 像 中 多 个 子 图 的 全 局 国 值 法 的 组 合 ; 动态 闪 值 法 是 指 依据 待 分 
制图 像 每 一 个 像素 与 其 邻接 像素 灰 度 值 的 状况 ,动态 地 做 运算 求 出 图 像 的 最 
佳 阅 值 。 


4.3.1 全 局 阔 值 法 


全 局 阀 值 法 包含 基于 点 的 全 局 值 法 和 基于 区 域 的 全 局 装 值 法 。 其 中 基于 
点 的 全 局 国 值 法 是 依据 图 像 中 每 个 点 的 灰 度 值 确定 阐 值 的 ， 基 于 区 域 的 全 局 立 
值 法 是 依据 图 像 中 邻 域 像素 点 的 局 部 灰 度 值 的 分 布 来 确定 阔 值 的 。 基 于 点 的 全 
局 阔 值 法 包含 直方 图 方法 、 最 小 误差 法 、 抢 量 保持 法 以 及 最 大 业 方 法 等 方法 ; 
基于 区 域 的 全 局 浆 值 法 包含 直方 图 变换 法 、 概 率 松弛 方法 以 及 灰 度 分 布 统计 方 
法 等 方法 。 
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1. 直方 图 方法 

直方 图 方法 的 基本 思想 是 依据 待 分 割 图 像 的 灰 度 分 布 直 方 图 来 确定 图 像 的 
国 值 ， 包 括 p- 分 位 数 法 (p-tile 法 ) 、 双 峰 法 以 及 直方 图 四 面 分 析 法 。 

Pp-tile 法 是 最 早 的 灰 度 直方 图 的 自动 阅 值 分 割 方法 ， 它 依靠 顺 次 积累 灰 度 
直方 图 的 值 来 获取 图 像 装 值 。 假 设 待 分 割 图 像 中 灰 度 级 高 的 背景 中 存在 一 个 
灰 度 级 低 的 目标 ， 且 已 知 目标 在 待 分 割 图 像 中 面积 的 比例 为 p»， 接 着 依次 累计 
灰 度 直方 图 的 值 直到 大 于 或 等 于 p 时 , 求 得 的 灰 度 级 就 是 图 像 的 待 求 阅 值 。 
p-tile 法 计算 相当 简单 ， 但 是 在 使 用 该 方法 时 必须 预先 知道 目标 在 图 像 中 的 面 
积 比 p， 如 果 p 是 未 知 的 或 随 图 像 的 不 同 发 生变 化 ， 该 方法 就 不 能 发 挥 分 割 作 









































峰 法 只 适用 于 理想 状态 下 目标 和 背景 较 清晰 的 图 像 ， 且 此 图 像 的 灰 度 直 
es 此 时 波 谷 与 待 分 割 图 像 的 边缘 相对 应 ， 因 此 当选 取 的 阔 值 
恰好 是 波 谷 的 位 置 时 ， 就 可 以 获得 较 好 的 分 割 效 果 。 但 是 ， 由 于 实际 图 像 的 情 
况 一 般 来 说 较 复杂 ， 其 图 像 的 直方 图 参差 不 齐 ， 分辨 不 出 波峰 、 波 谷 ， 这 个 方 
法 就 不 适用 图 像 分 割 了 。 

直方 图 上 四面 分 析 法 适用 于 直方 图 中 没有 波 谷 的 图 像 。 该 方法 中 的 凹面 与 直 
方 图 中 的 谷底 和 “ 肩 ” 相 对 应 ， 且 在 直方 图 的 “ 肩 ” 所 处 的 位 置 上 可 以 确定 一 
个 最 佳 阐 值 。 但 是 由 于 原始 灰 度 直方 图 往往 会 存在 许多 毛刺 ， 使 得 该 方法 也 不 
能 准确 定位 直方 图 的 “ 肩 ” 所 处 的 位 置 ， 从 而 导致 产生 错误 的 分 割 结 

2. 最 小 误差 法 

最 小 误差 法 的 基本 思想 是 将 灰 度 直方 图 视 为 对 其 先 验 概率 p, 的 正 态 分 布 的 
概率 密度 函数 p(f) 的 估计 ， 并 假定 图 像 中 的 目标 篆 景 的 灰 度 分 布 的 均值 是 
Ki， 方 差 是 o;。p (f) 的 表达 式 见 式 (4-2)， 且 最 佳 阐 值 可 通过 式 (4-3) 
求 得 。 









































p(f) = 人 (4-2) 
CFA) 2 se) 名) 


2 +ln"! -21n” = 
用 此 方法 计算 图 像 的 国 值 ， 人 4; 以 及 p; 的 值 ， 但 是 这 些 
值 均 是 未 知 的 ， 因 此 引入 准则 函数 J(m) ， 通 过 最 小 化 准则 函数 J(m) 求 得 最 佳 
国 值 7。 其 中 J(m) 的 表达 式 见 式 (4-4),，p;(m) 的 表达 式 见 式 (4-5 ) ， 
ki(m) 的 表达 式 见 式 (4-6) ，c;(m) 的 表达 式 见 式 (4-7) 以 及 了 的 表达 式 见 
式 (4-8) 。 
J(m)=1 +2{p(m) nc +p;(m)ln”™ } -2{p(m)ln™ +p;(m) not 
(4-4) 





21n” (4-3) 
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i 
pi(m) = ee (4-5) 
plm)= Dh, i=2 


Wi(m) = (4-6) 





{EanDU mm) 
oi(m)= 在 





| 
oi(m) = | Po (4-7) 


{aD -mm) | 
0o,(m)= 一 er SD 
T=Arg MinJ(m) (4-8) 

但 是 当 图 像 中 有 多 个 目标 和 背景 时 ，o,、j; 以 及 p; 的 个 数 增多 ,计算 量 及 计 
算 难 度 都 有 所 增加 ， 因 此 该 方法 具有 一 定 的 局 限 性 。 

3. 和 矩 量 保持 法 

和 矩 量 保持 法 又 称 矩 守恒 阔 值 法 ， 即 最 优 阔 值 在 待 分 制图 像 和 分 割 后 的 图 像 
中 的 矩 量 保持 恒定 不 变 。 大 待 分 制图 像 的 像素 点 的 灰 度 值 re 10，1，2，3 ，…， 
了 -1 ， 且 过 代 表 灰 度 级 总 数 ，Mi (ie 10，1，2，3，…, 工 -1) 代 表 灰 度 级 ; 
在 待 分 割 图 像 中 出 现 的 次 数 ; bp, 代表 灰 度 级 i 出 现 的 频率 ， 其 表达 式 见 式 (4-9)， 
代表 第 % 阶 和 矩 ， 其 表达 式 见 式 (4-10)。 在 此 方法 中 ， 阅 值 分 割 应 当 满 足 前 三 
阶 矩 恒定 不 变 ， 其 矩 量 保持 方程 见 式 (4-11)， 其 中 WW、 玉 分 别 代 表 阅 值 化 后 
的 每 一 个 种 别 的 灰 度 值 ，m 、 记 表示 效 值 化 后 的 灰 度 值 的 分 布 概率 ， 通 过 求解 方 
程 组 式 (4-11)， 可 以 求 出 po 以 及 参数 oo 、c| 、d， 且 其 结果 见 式 (4-12) ， 此 时 
求 出 的 me 即 为 me 的 分 位 数 ， 也 就 是 待 分 割 图 像 的 最 优 赣 值 7。 



































六 一条 (4-9) 


n, = (4-10) 
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po Wo +piWi = no 
po Wo +piWi 二 7 

2 2 (4-11) 
PoWo + pi Wi =n, 


po Wo 十 Pi 咏 = 1 





(4-12) 
d= ( (ci — 4c )™ 一 Cl 网 
dd-nm 

(0 -4c,)7” 

此 方法 是 以 理想 状态 下 假设 分 割 前 与 分 制 后 的 图 像 在 矩 量 上 保持 恒定 不 变 
为 前 提 的 ， 但 一 般 情 况 下 由 于 图 像 受 外 界 或 自身 复杂 因素 的 影响 ， 图 像 在 分 出 
后 矩 量 均 会 有 所 变化 ， 因 此 该 方法 不 具有 普遍 性 。 

4. 最 大 炉 方 法 

最 大 粹 方法 是 由 Pun 最 早 使 用 香农 关于 炉 的 概念 提出 的 。 该 方法 以 图 像 完 
全 由 其 灰 度 分 布 直方 图 表示 为 前 提 ， 用 图 像 的 炉 作为 度量 实现 对 图 像 中 的 目标 
进行 分 割 的 目的 。 焙 代表 一 个 系统 的 信息 量 ， 记 作 有 石 ， 其 定义 式 见 式 (4-13)， 
其 中 ,代表 符号 + 出 现 的 概率 。 因 此 对 应 定义 图 像 的 炉 ，p, 代 表 图 像 中 灰 度 级 i 
出 现 的 概率 ， 其 图 像 箭 的 表达 式 见 式 (4-14)。 


= 一 之 Prlogp， (4-13) 
H=- 3 (4-14) 

图 像 阔 值 分 割 中 应 用 灼 概念 ， 其 实质 是 通过 研究 灰 度 直方 图 精 的 测量 
从 而 寻找 到 图 像 的 最 优 赣 值 ， 若 入 的 定义 角度 不 同 ， 那 么 就 会 有 不 同 的 最 天 炳 
方法 。 例 如 ， 如 果 考 虑 图 像 中 灰 度 的 空间 分 布 ， 并 通过 像素 的 灰 度 值 与 其 邻接 
像素 的 灰 度 均值 来 计算 直方 图 ， 那 么 就 会 出 现 二 维 精 的 赣 值 分 割 方法 。 较 常用 
的 最 天 炉 方 法 有 一 维 最 大 精 阔 值 法 和 二 维 最 大 业 阔 值 法 。 

一 维 最 大 录 阔 值 法 的 基本 原理 是 假设 灰 度 级 了 分 割 图 像 ， 将 大 于 了 的 像素 
点 的 集合 定义 为 背景 N， 且 将 小 于 7 的 像素 点 的 集合 定义 为 目标 M; 接着 利用 图 
像 中 目标 和 背景 的 灰 度 级 的 精 来 计算 图 像 的 最 大 彤 万， 其 表达 式 见 式 (4-15)， 
其 中 ,及 代 表 图 像 中 背景 的 精 ， 其 表达 式 见 式 (4-16) ;及 代表 图 像 中 目标 的 
录 ， 其 表达 式 见 式 (4-17) ; pp、 代表 图 像 中 背景 所 占 面积 的 比例 ， 其 表达 式 见 式 
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(4-18); pu 代表 图 像 中 目标 所 占 面积 的 比例 ， 其 表达 式 见 式 (4-19) ; 疡 代表 图 
像 中 灰 度 级 i 出 现 的 概率 。 





H=H, +H, (4-15) 
H\=- >pnlogp LI=r+lr+2r+3,…, 人 -1 (4-16) 
i=r+l 
Hy =- Dpulogpy =1,2,3,… 小 (4-17) 
1 
Pi 有 
PN = 一 一 一 1=7r+lr+2r+3,…,/ 一 1 (4-18 ) 
1 半 >; 
i=0 
忆 ; 
pu = 1 2 二 ] (4-19) 
> 
i=0 








二 维 最 大 信 阅 值 法 的 基本 原理 与 一 维 最 大 烂 闵 值 法 不 同 的 是 计算 图 像 中 灰 
度 级 的 概率 是 用 二 维 坐 标 表示 的 。 例 如 ，p; 代 表 图 像 中 像素 点 的 灰 度 均值 对 
(i, 7) 的 概率 ， 即 图 像 中 点 的 灰 度 为 i， 其 区 域 灰 度 均 值 通过 计算 灰 度 为 i 的 各 
个 像素 点 及 其 八 邻 域 像素 点 所 组 成 区 域 的 均值 为 7 的 概率 。 综 上 所 述 ， 当 图 像 中 
的 像素 点 变 得 相当 多 时 ， 最 大 粹 方法 的 计算 量 及 计算 难度 都 会 有 所 增加 ， 因 此 
该 方法 也 具有 一 定 的 局 限 性 。 

5. 直方 图 变换 法 

直方 图 变换 法 的 基本 思想 是 依照 图 像 中 像素 点 的 部 分 特征 ， 将 像素 点 加 权 
后 取得 新 的 直方 图 而 间接 求 取 原 图 像 的 最 佳 病 值 。 因 此 ， 该 方法 取得 最 佳 闽 值 
的 关键 是 要 选取 合适 的 加 权 方 法 以 及 最 佳 的 权 值 。 

6. 概率 松弛 方法 

概率 松弛 法 的 基本 原理 是 假设 图 像 是 由 较 暗 的 目标 和 较 亮 的 背景 这 两 部 分 
组 成 ， 并 且 用 概率 表示 该 图 像 中 像素 点 及 像素 点 之 间 的 空间 相关 性 ， 然 后 选择 
一 个 合适 的 赣 值 调整 每 个 像素 的 概率 ， 使 得 这 个 像素 点 只 属于 暗 的 目标 区 域 或 
亮 的 背景 区 域 ， 从 而 通过 多 次 迭代 使 得 图 像 中 的 目标 与 背景 被 明显 地 分 割 出 来 。 
该 方法 原理 简单 ， 但 仅仅 适用 于 竺 分割 图像 中 的 目标 与 背景 灰 度 级 分 别处 于 直 
方 图 前 后 两 半 的 情况 。 

7. 灰 度 分 布 统计 方法 

灰 度 分 布 统计 方法 中 一 种 典型 的 方法 是 灰 度 共生 和 矩阵 法 。 灰 度 共生 和 矩阵 中 
的 元 素 是 两 个 不 同 的 灰 度 级 在 其 相 邻 位 置 处 出 现 的 概率 。 该 方法 对 应 两 个 直方 
图 ， 并 且 这 两 个 直方 图 分 别 与 灰 度 共生 矩阵 中 的 近 对 角 线 的 元 素 、 远 对 角 线 的 
元 素 相对 应 ， 那 么 该 方法 的 最 佳 闷 值 就 是 在 这 两 个 直方 图 对 应 的 波 谷 与 波峰 重 
著 的 区 域 中 获得 。 该 方法 在 两 个 直方 图 对 应 的 波 谷 与 波峰 不 能 重 着 时 失效 ， 因 
而 不 能 寻找 到 最 佳 立 值 而 无 法 完成 图 像 分 割 的 目的 。 
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4.3.2 局 部 阅 值 法 


全 局 效 值 法 在 待 分 割 图 像 中 的 目标 和 背景 比较 清晰 时 ， 可 以 取得 较 好 的 分 
割 效果 ， 但 当 图 像 中 的 目标 和 背景 比较 模糊 、 背 景 分 布 不 勺 称 、 目 标 残 缺 或 目 
标 灰 度 转变 率 很 大 的 情况 下 ， 该 方法 就 不 适用 了 。 这 种 情况 下 就 需要 采用 局 部 
国 值 法 将 待 分 割 图 像 分 为 几 个 子 图 ， 然 后 对 这 些 子 图 分 别 采用 全 局 阐 值 法 依次 
求 出 最 佳 分 割 阐 值 进行 图 像 分 割 ， 这 样 就 可 以 完成 对 不 具有 统一 病 值 的 图 像 进 
行 分 割 操作 。 


4.3.3 动态 阔 值 法 


对 于 那些 目标 和 背景 比较 模糊 、 背 景 不 均匀 、 目 标 残 缺 或 目标 灰 度 变化 率 
较 大 的 图 像 ， 要 获得 一 个 适用 于 整 幅 图 像 的 浆 值 ， 须 采用 动态 闽 值 法 。 该 方法 
根据 待 分 割 图 像 每 个 像素 以 及 其 邻 域 像素 灰 度 值 的 状况 ， 动 态 地 计算 出 图 像 的 
最 佳 国 值 。 常 用 的 动态 浆 值 法 包括 : Kaneko 和 Chow 提出 的 方法 、Brunckstein 和 
Yanowitz 提出 的 方法 以 及 Pietikainen 和 Sauvola 提出 的 方法 。 

综 上 所 述 ， 常 用 的 国 值 分 割 方法 总 结 如 下 : 全 局 阔 值 记 作 7 了 =7T[p(x, y)]， 
只 与 图 像 中 所 有 像素 点 的 灰 度 值 有 关 ; 局 部 阅 值 记 作 7=7T[p(x, y), q(x, y)]， 
不 仅 与 图 像 区 域内 的 各 像素 点 的 值 有 关 ， 而 且 还 与 各 个 像素 相 邻 像素 点 的 值 有 
关 ; 动态 国 值 记 作 了 T=7T[x，y，p(x，y) ,g(x,y)]， 不 仅 与 图 像 中 像素 的 空间 
坐标 有 关 ， 而 且 还 与 该 像素 点 的 局 部 区 域 和 本 里 性 质 有 关 。 


改进 的 最 大 类 间 方 差 法 


最 大 类 间 方 差 法 (OTSU 法 ) 是 一 种 典型 的 无 参数 、 无 监督 的 自动 确定 阔 值 
的 阔 值 分 制 方法 。 早 在 1979 年 ， 该 算法 由 日 本 学 者 大 津 展 之 提出 ， 是 在 最 小 二 
乘法 的 基础 上 被 推导 求 出 的 。 该 方法 无 须 预先 知道 其 他 先 验 知识 ， 具 有 算法 简 
便 、 运 算 速 度 快 、 目 标 和 背景 分 离 性 较 好 以 及 拥有 自 适应 阔 值 等 优点 ， 从 而 该 
方法 被 广泛 地 应 用 到 图 像 分 割 中 。 

最 大 类 间 方 差 法 的 基本 原理 是 依据 竺 分割 图 像 中 像素 的 灰 度 特点 ， 将 图 像 分 
成 目标 和 背景 两 种 类 型 ， 若 图 像 中 的 目标 与 背景 的 类 间 方 差 大 ， 则 表示 目标 和 和 背 
景 之 间 的 差别 大 ， 因 此 如 果 当 图 像 中 的 背景 信息 被 误 判 为 目标 信息 ， 或 者 图 像 中 
的 目标 信息 被 错 判 为 背景 信息 时 ， 该 图 像 中 的 目标 与 背景 的 类 间 方 差 就 会 取 很 小 
的 值 。 由 于 这 一 特性 ， 该 方法 只 要 满足 图 像 中 像素 的 类 间 方 差 最 大 或 类 内 方差 最 
小 ， 就 意味 着 最 小 的 误差 ， 进 而 可 以 取得 最 优 阔 值 ， 从 而 对 图 像 进行 精确 分 割 。 

最 大 类 间 方 差 法 的 思想 如 下 : 

1) 一 维 最 大 类 间 方 差 法 的 基本 原理 : 假设 待 分 割 图 像 为 h， 该 图 像 的 灰 度 
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级 共 工 ，n 代 表 图 像 中 灰 度 值 是 j 的 像素 点 的 个 数 ，N 代表 图 像 像 素 的 总 个 数 ， 
其 表达 式 见 式 (4-20); 图 像 中 各 像素 点 的 灰 度 值 的 概率 是 p， 其 表达 式 见 
式 (4-21)。 接 着 ,该 方法 自动 确定 阐 值 为 7， 将 图 像 中 的 像素 按照 灰 度 级 分 为 
以 下 两 组 像素 点 的 集合 D, 和 D, ， 其 表达 式 分 别 见 式 (4-22) 和 式 (4-23); 像 
素 点 集合 D, 的 概率 为 WM (或 表示 为 WM(7) ) ， 其 表达 式 见 式 (4-24) ， 像 素 点 集 
合 D 的 概率 为 M ， 其 表达 式 见 式 (4-25); D, 平 均值 为 由 ， 其 表达 式 见 式 
(4-26) ， 刀 平均 值 为 W ， 其 表达 式 见 式 (4-27) ; 整个 图 像 的 灰 度 平均 值 为 几 ， 
其 表达 式 见 式 (4-28); (7) 代表 当 图 像 的 阔 值 为 了 了 时， 整个 图 像 灰 度 值 的 平 
均值 ， 其 表达 式 见 式 (4-29); 所 有 采样 的 灰 度 值 的 平均 值 为 uw'， 其 表达 式 见 
式 (4-30); 6 (7T) 代表 两 组 像素 点 集合 D, 与 记 间 的 方差 ， 称 其 为 浆 值 选取 函 
数 ， 其 表达 式 见 式 (4-31) ， 并 且 求 解 式 (4-31) 中 2? (7) 的 最 大 值 ， 记 作 
max6” (7) ， 这 个 值 就 是 该 方法 的 最 佳 阔 值 。 


L 








N= pon, (4-20) 
j=1 
记 = 元 (4-21) 
Du = {1, 2 “"', 7} (4-22) 
D,={T+1, T+2, .…, L} (4-23) 
M, = Bp; = M(T) (4-24) 
j=1 
六 
M = Dp=1-M, (4-25) 
J= 了 +1 
下 
Jp; 人 CI) 
加 Ip; _ 4-26 
Ko i M, M(T) ( ) 
类 。 
J 人 一 人 了 ) 
= = 4-27 
人 j=T+1 M, 1 -有 7) ( ) 
, 
LM= Dp (4-28) 
j= 
六 
4(T)= jp, (4-29) 
j=1 
人 = Momo + Mip, (4-30) 


[MT) -ACT 
M(T)I[1-M(T)] 


(4-31) 

2) 二 维 最 大 类 间 方 差 法 的 基本 原理 : 假设 待 分 割 图像 为 h(x，y) ， 图 像 中 
像素 点 的 坐标 是 (*，y) ， 图 像 的 灰 度 级 共 ，f(x，y) 代表 和 xk 邻 域 的 平均 灰 
度 值 ， 其 表达 式 见 式 (4-32) ; 该 方法 用 图 像 的 灰 度 值 h(x,，y) 和 xk 邻 域 的 





(7T) =M, (po -1) + Mi -1) =MM, (ww -po) = 
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平均 灰 度 值 /(x，y) 来 表示 图 像 ， 记 作 刀 ,，h,;= (h(x*，y)， f(x,y) )， 且 代表 
像素 点 坐标 为 (1, De le 六 ， 其 邻 域 的 平均 灰 度 值 为 


ER Etna (4-32) 
pu = HXN 0 





二 维 最 大 类 间 方 差 法 的 二 维 灰 度 直方 图 如 图 4-2 所 示 。 图 中 横 、 纵 坐标 代表 
二 维 最 大 类 间 方 差 法 的 分 割 阔 值 (*，:) ， 直 方 图 被 分 为 A、B、C、D 四 个 区 域 ; 
图 像 中 的 目标 和 背景 主要 集中 在 B、C 这 两 个 区 域 ， 而 对 于 A、D 这 两 个 区 域 几乎 
没有 图 像 的 目标 和 背景 ， 因 此 在 这 两 个 区 域 目标 和 背景 的 分 布 概率 几乎 接近 于 0。 
像素 点 集合 六 和 疡 分 别 代表 直方 图 中 的 目标 和 背景 ， 即 在 直方 图 中 的 B、C 两 个 
区 域 , 且 它 们 的 概率 分 别 为 p (D6)、p (Di)， 其 表达 式 分 别 见 式 (4-34) 和 
式 (4-35); 像素 点 集合 D, 和 DD 的 灰 度 均值 矢量 分 别 为 jo。、jp,， 其 表达 式 分 别 见 式 
(4-36) 和 式 (4-37); 待 分 制图 像 总 的 灰 度 均值 矢量 是 .， 其 表达 式 见 式 (4- 38); 
该 直方 图 的 离散 矩阵 为 S$; ， 其 表达 式 见 式 (4-39) ; 离散 矩阵 5 的 迹 是 tr(Ss)， 且 当 
离散 和 矩阵 5; 的 迹 tr(5s) 取 最 大 值 时 ， 此 时 就 可 以 取得 该 图 像 的 最 佳 国 值 (S, 7)， 
这 个 最 佳 国 值 记 作 rr(Ss(0S$，7) )，tr(S (0S，7)) 的 表达 式 见 式 (4-40)。 


Jooy) 
L-1 





























和 L-l1 h(xy) 


图 4-2 二 维 灰 度 直方 图 


PCD = DPhp = mo (4-34) 
p(D)= 5 Pps = ps) (4-35) 


i=s+1j 


> ip(ilD,) 
Ko = (HUo No) = (4-36) 


t 


ZipCi 1D,) 
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3 ip(ilD,) 
i=s+l 
Hi = (La eg (4-37) 
Jp(i|D,) 
j=t+1 
上 -1 L-l 
2 0 Di, 
pr = Mri) = | (4-38) 
Dip, 
j=0 j=0 
1 
S = DpDOE ps -pr) pr pr)"] (4-39) 
$=0 


tr(SE) =pol (10 -Ar + (pos -Ar ] tpi[ CK pri) + (pj Ar) 
(4-40) 
由 于 待 分 割 的 多 源 图 像 中 的 目标 和 背景 有 时 差别 不 是 很 大 ， 背 景 呈 不 均匀 
分 布 ， 此 时 采用 最 大 类 间 方 差 法 分 割 多 源 图 像 ， 不 仅 使 多 源 图 像 的 分 割 阅 值 难 
以 把 握 ， 而 且 还 会 造成 图 像 的 边缘 信息 残缺 ， 因 此 ， 针 对 此 缺陷 本 章 对 最 大 类 
间 方 差 法 进行 了 改进 。 由 于 大 量 的 实验 已 证 明 ， 图 像 经 过 梯度 运算 转 为 梯度 图 
像 后 可 以 保存 图 像 的 边界 信息 ， 同 时 去 除 图 像 中 的 局 部 极 小 值 及 干扰 噪声 ， 从 
而 使 得 图 像 的 目标 和 背景 更 为 突出 ， 使 得 图 像 的 直方 图 具有 更 加 明显 的 双 峰 ， 
因而 获得 最 优 装 值 ， 并 且 结 合 了 梯度 特征 的 闪 值 分 割 能 够 使 多 源 图 像 取得 较 好 
的 分 割 效果 ， 因 此 本 章 使 用 梯度 算法 与 最 大 类 间 方 差 法 结合 的 方法 来 对 多 源 图 
像 进行 分 割 。 
结合 梯度 特征 的 最 大 类 间 方 差 法 的 步骤 : 首先 将 多 源 图 像 梯度 化 获取 梯度 
信息 ， 保 存 图 像 完整 的 边缘 信息 ， 从 而 为 准确 寻找 最 优 阔 值 黄 定 基础 ; 然后 再 
使 用 最 大 类 间 方 差 法 对 多 源 图 像 进行 分 制 。 图 像 梯度 化 通常 使 用 一 阶 差分 表示 
梯度 ， 且 常用 的 计算 一 阶 差分 的 方法 包含 :， Prewitt 边缘 检测 算 子 、Roberts 边缘 
检测 算 子 以 及 Sobel 边缘 检测 算 子 等 ;计算 梯度 值 通常 使 用 图 像 的 卷 积 和 图 像 小 
区 域 模 板 ，Kirsch 边缘 检测 算 子 是 利用 卷 积 和 图 像 小 区 域 模 板 计算 梯度 值 的 典型 
方法 之 一 。 
Prewitt 边缘 检测 算 子 计算 图 像 h(x，y) 对 x、y 的 一 阶 差 分 ， 其 中 ho,， hi,…，h。 
是 以 hs 为 中 心 的 各 个 像素 点 ， 则 x、y 的 一 阶 差 分 分 别 表 示 为 G,、G,， 表 达 式 如 下 : 
G,=(h;+hs +ho) —- (hi +h, +h,) (4-41) 
G,= (hs+he tho) - (hi +hs +h,) (4-42) 
Roberts 边缘 检测 算 子 计算 图 像 h(x,，y) 对 x、y 的 一 阶 差分 ， 其 中 hh， 
hh ，…，h 是 以 hs; 为 中 心 的 各 个 像素 点 ， 则 x、y 的 一 阶 差分 分 别 表示 为 C,、 
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G,, 表达 式 如 下 : 
G, =h, -hs (4-43) 
G,=hs -hs (4-44) 

Sobel 边缘 检测 算 子 计算 图 像 有 h(x，y) 对 x、y 的 一 阶 差 分 ， 其中，h，…，h。 

是 以 h; 为 中 心 的 各 个 像素 点 ， 则 x、y 的 一 阶 差分 分 别 表示 为 G, 、G, ， 表 达 式 如 下 : 
G,=(h; +2hs +ho) —- (hi +2h, +h,) (4-45) 
G,= (hs +2he +ho) — (h, +2h, +h,) (4-46) 

Kirsch 边缘 检测 算 子 由 八 个 代表 八 个 方向 的 模板 组 成 算 子 ， 利 用 该 算 子 进行 
卷 积 ， 即 可 得 到 八 个 方向 中 的 最 大 值 及 其 该 方向 所 对 应 的 方向 数值 ， 从 而 得 到 
由 边缘 方向 及 强度 表示 的 具有 梯度 特征 的 图 像 。 

若 图 像 为 h(x,，y)， 且 该 图 像 的 灰 度 取 值 范围 是 Ge (0, LL -1)， 则 图 像 
h(x，y) 的 梯度 为 Vh(x，y) ， 其 表达 式 见 式 (4-47); Vh(x, y) 的 幅度 值 为 
mag(h(x,y) ) ， 其 表达 式 见 式 (4-48); Vh(x, y) 的 相位 为 690x，y) ， 其 表 
达 式 见 式 (4-49)。 





vi a = [到 ， | (4-47) 
mag(h(%,y)) = (Cx i (4-48) 
0(x,y) =arctan [号 / 吕 ] (4-49) 


本 章 采 用 形态 学 开 闭 运算 对 多 源 图 像 梯 度 化， 是 因为 形态 学 梯度 运算 具有 
非 线 性 ， 与 Prewitt 边缘 检测 算 子 、Roberts 边缘 检测 算 子 以 及 Sobel 边缘 检测 算 
子 等 常用 的 梯度 化 方法 相 比 ， 更 能 增强 图 形 中 极 值 的 对 比 度 ， 使 图 像 中 的 目标 
与 背景 的 对 比 度 增加 ， 从 而 使 目标 和 背景 的 区 分 度 变 得 明显 ; 其 次 ， 该 方法 也 
具有 良好 的 保持 图 像 中 重要 轮廓 区 域 的 效果 ， 从 而 保存 了 图 像 完整 的 边缘 信息 ， 
为 准确 寻找 最 佳 国 值 打 下 良好 的 基础 。 图 4-3 为 原 测试 的 多 源 图 像 ， 图 4-4 为 最 
大 类 间 方 差 法 的 分 制图 像 ， 图 4-5 为 改进 的 最 大 类 间 方 差 法 即 结 合 梯度 特征 的 
最 大 类 间 方 差 法 的 分 割 图 像 。 









































Ge 一 人 
和 ”地 
A 有 . Se 
图 4-3 测试 图 图 4-4 最 大 类 间 方 图 4-$ 改进 的 最 大 类 间 
差 法 分 割 图 方差 法 分 割 图 
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通过 对 比 图 4-4 与 图 4-5， 可 知 直接 采用 最 大 类 间 方 差 法 ， 由 于 多 源 图 像 中 
的 背景 有 时 比较 复杂 ， 背 景 呈 不 均匀 分 布 ， 使 得 多 源 图 像 的 分 割 立 值 难以 寻找 
到 ， 甚 至 出 现 图 4-4 中 大 量 的 与 目标 无 关 的 极 小 值 区 域 ， 分 制 效果 远 差 于 图 4-5 
的 结合 梯度 特征 的 最 大 类 间 方 差 法 的 分 割 效果 。 

因此 ， 本 章 采用 结合 梯度 特征 的 最 大 类 间 方 差 法 对 分 水 岭 算法 进行 改进 ， 
形成 结合 梯度 特征 的 最 大 类 间 方 差 法 的 分 水 岭 算法 ， 从 而 得 到 了 具有 一 定 意义 
的 边界 特征 的 分 割 图 像 ， 解 决 了 传统 分 水 岭 算法 中 虚假 的 局 部 极 小 值 过 多 与 过 
分 割 问 题 ， 而 且 使 分 水 岭 算 法 中 的 分 水 点 较 准 确 地 定位 ， 因 此 改善 了 传统 分 水 
岭 算法 中 易 产 生 过 分 割 的 缺陷 。 选 取 图 像 去 噪 、 平 滑 、 滤 波 预 处 理 后 的 图 像 作 
为 输入 图 像 ， 对 其 采用 结合 梯度 特征 的 最 大 类 间 方 差 法 进行 分 割 ， 其 分 割 结果 
分 别 如 图 4-6 和 图 4-7 所 示 ， 其 中 图 4-6 为 可 见 光 图 像 阔 值 分 割 图像， 图 4-7 为 
红外 图 像 浆 值 分 割 图 像 ; 之 后 再 对 赣 值 分 制 后 的 图 像 进行 分 水 岭 分 割 ， 其 分 逢 
结果 分 别 如 图 4-8 和 图 4-9 所 示 ， 其 中 图 4-8 为 可 见 光 图 像 结 合 阔 值 算法 的 分 水 
岭 分 割 图 像 ， 图 4-9 为 红外 图 像 结合 阔 值 算法 的 分 水 岭 分 割 图 像 。 


大同 什 分 家 图 像 “ ”车 图像 





































































































Be Wi 


汽车 阅 值 分 割 图像 






D) 





”坦克 图 像 坦克 闵 什 分割 图 像 飞机 图 像 飞机 赣 什 分割 图 像 





景观 图 像 a 景观 阔 值 分 制图 像 


4-6 可 见 光 图 像 阔 值 分 割 图 像 
上 述 实 验 结果 可 以 看 出 ， 结 合 阐 值 算法 的 分 水 岭 算 法 比 只 使 用 分 水 岭 算 法 


的 分 割 效 果 要 好 ， 该 算法 消除 了 易 造 成 过 多 区 域 的 极 小 值 ， 使 分 水 岭 算 法 的 
分 水 点 较 准确 地 定位 ， 同 时 去 除了 大 部 分 的 复杂 背景 ， 并 且 也 得 到 了 具有 一 
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人 图 像 人 阀 值 分 割 图 像 汽车 图 像 汽车 阀 值 分 割 图 像 





坦克 图 像 坦克 阐 值 分 制图 像 飞机 图 像 a 飞机 六 值 分 制图 像 
图 4-7 红外 图 像 阔 值 分 割 图 像 
a) 人 图 像 b) 汽车 图 像 


WR 


hb 
d) 飞机 图 像 e) 景观 图 像 


图 4-8 可见 光 图 像 结合 阅 值 分 割 算法 的 分 水 岭 分 割 图 像 


a) 人 图 像 b) 汽车 图 像 c) 坦克 图 像 
图 4-9 红外 图 像 结合 阔 值 分 割 算 法 的 分 水 岭 分 割 图 像 


定 意义 的 边界 特征 的 分 割 图 像 ， 从 而 改善 了 传统 分 水 岭 算法 中 易 产 生 过 分 害 
的 缺陷 。 


























c) 坦克 图 像 




















d) 飞 机 图 像 
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本 章 小 结 








本 章 主要 研究 了 多 源 图 像 的 阔 值 分 


符 | 


性 








| 的 方法 ， 首 先 研究 了 阀 值 分 割 的 基本 





思想 、 基 本 原理 以 及 实现 阔 值 分 割 算法 的 基本 步骤 ， 从 而 为 寻找 合适 的 阔 值 分 

















割 方法 芮 定 了 理论 基础 ;， 其次， 通过 分 析 比 较 常 用 的 靖 值 分 割 方法 ， 从 而 为 寻 








找 最 佳 浆 值 分 割 方法 提供 了 一 定 的 思路 ; 再 次 ， 主 要 研究 了 最 大 类 间 方 差 法 ， 








并 对 该 方法 进行 改进 ， 提 出 了 结合 梯度 特征 的 最 大 类 间 方 差 法 ， 并 使 用 改进 的 
最 大 类 间 方 差 法 对 分 水 岭 算法 进行 改进 ， 因 而 又 提出 了 结合 姜 值 算法 的 分 水 岭 
分 割 方法 ， 并 且 将 这 两 种 改进 的 算法 分 别 在 VC ++6.0 开发 环境 下 进行 了 实验 ， 





并 对 实验 结果 进行 了 分 析 。 
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结合 聚 类 分 割 的 分 水 岭 算法 


本 书 已 采用 结合 闵 值 分 割 的 分 水 岭 算 法 对 多 源 图 像 进 行 阅 值 优化 操作 ， 消 
除了 易 造 成 过 多 区 域 的 极 小 值 ， 虽然 已 经 消除 了 大 多 数 的 过 分 割 区 域 , 但 由 于 
分 水 岭 算 法 易 受 图 像 中 的 量化 误差 的 影响 ， 在 分 水 岭 算 法 结束 后 仍 有 一 些 过 分 
割 区 域 ， 因 此 为 了 得 到 良好 的 分 割 效果 ， 本 章 在 结合 阀 值 分 割 的 分 水 岭 算 法 后 
又 采用 聚 类 分 割 算法 合并 那些 无 语义 学 意义 的 过 分 割 的 小 区 域 ， 从 而 进一步 改 
善 了 传统 分 水 岭 算法 中 易 产生 过 分 割 的 缺陷 ， 并 能 获得 更 有 意义 的 分 割 效 果 。 


图 像 聚 类 分 割 概述 


聚 类 是 指 依照 某 一 个 准则 将 数据 集 划分 为 某 几 个 类 或 能 ， 使 得 属于 同一 类 
内 的 数据 集合 具有 较 高 的 相似 度 ， 而 属于 不 同类 的 数据 集合 具有 较 低 的 相似 度 ， 
因而 聚 类 过 程 的 关键 就 是 尽 可 能 地 将 同类 事物 聚集 在 一 起 ， 将 不 同类 别 的 数据 
集合 尽 可 能 地 分 离 。 聚 类 分 析 属 于 多 元 统计 方法 中 的 一 种 ， 在 样本 进行 聚 类 分 
析 的 时 候 ， 在 样本 所 属 的 类 别 和 类 别 数目 未 知 的 情况 下 ， 该 方法 依据 样本 数据 ， 
采用 数学 方法 来 处 理 数据 集 的 分 类 问题 。 聚 类 分 析 在 图 像 处 理 领域 ， 尤 其 在 图 
像 分 割 方面 发 挥 着 相当 重要 的 作用 ， 因 而 产生 了 许多 基于 聚 类 算法 的 图 像 分 割 
方法 。 
聚 类 的 定义 ; 由 许多 数据 点 组 成 的 数据 集 X， 此 数据 集 是 一 个 N xd 的 矩阵 ， 
且 蕊 中 包含 的 数据 点 * 在 数据 空间 巨 中 ,并 且 表 示 为 = (wj, ws，…, %,) eB， 
* 的 属性 定义 为 数值 型 或 枚 举 型 的 *,， 若 数据 集 工 包括 W 个 x (7 =1，2，…，MN) 
数据 点 作为 其 对 象 ， 然 后 把 数据 集 X 分 裂 为 上 个 分 割 D,(m=1,2，…, 上 ) 和 
噪声 六 ， 并 且 当 数据 集 式 是 噪声 忆 与 没有 交集 的 多 个 分 割 甩 (mm =1, 2,…, ) 并 
集 的 时 候 ， 完 成 聚 类 算法 ， 其 表达 式 如 下 : 
X=D,UD,U-.…UD,UD, 
DNMD, = OG (iz)) 
数据 类 型 包括 : 数据 聚 类 和 矩阵 和 相 异 矩阵 。 数 据 和 矩阵 是 目标 与 变量 组 织 的 
数据 表达 方式 ， 若 聚 类 中 有 N 个 对 象 忆 (= 1，2，…，N) ， 且 每 个 对 象 选择 P 

























































































(5-1) 
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个 变量 ， 则 第 7 个 对 象 的 第 i 个 变量 的 观测 值 表示 为 x;， 因 此 ， 聚 类 中 有 N 个 对 
象 的 所 有 观测 值 组 成 的 NN xP 的 矩阵 ， 即 为 此 聚 类 过 程 的 数据 矩阵 ， 其 表达 式 见 
式 (5-2)， 且 第 j) 个 对 象 的 己 个 变量 的 观测 值 表 示 为 向 量 x,， 其 表达 式 见 
式 (5-3) ; 相 异 度 矩 阵 是 目标 与 其 结构 的 数据 表达 方式 ， 知 聚 类 数据 集中 的 对 
象 ; 与 ] 之 间 的 相 异 性 用 一 个 非 负 数值 e(i, j) 量化 表示 ， 则 聚 类 数据 集 存储 的 
NN 个 对 象 的 相 异 度 和 矩阵 ， 表 示 为 一 个 NN x NN 的 矩阵， 见 式 (5-4)。 从 式 (5-4) 
可 以 看 出 ，e(i, 站 =e(j, i 且 e(i, i 让 =0; 当 对 象 i 与 j 之 间 越 相近 或 相似 时 ， 
e(i, j) 就 趋 近 于 零 ， 反 之 当 对 象 i 与 j 之 间 相 距 越 远 或 不 相同 时 ，e(i, j) 的 取 
值 就 越 大 ， 因 此 相 异 度 矩 阵 可 以 表示 出 聚 类 数据 集 存储 的 NN 个 对 象 间 的 相似 或 
相 异 程度 。 




















pA 这 这 “到 访 Wi 
MX21 X22 Ns Nap 
Na3l X32 X33 Np (5-2) 
XN Xn Xm XNPp 
Xj = (XXp XB, Np) (5-3) 
0 
e211) 0 
(5-4) 


e(3,1) e(3,2) 0 


e(N,1) e(N,2) … … 0 
完整 的 图 像 聚 类 过 程 不 仅 包 含 聚 类 算法 本 身 ， 还 包括 图 像 的 特征 选择 与 提 
取 以 及 数据 集 的 相似 度 度量 的 计算 ， 其 图 像 聚 类 过 程 可 用 图 5-1 表示 ， 从 图 5-1 
中 可 以 反映 出 图 像 聚 类 过 程 的 前 两 步 : 图 像 特征 的 选择 与 提取 以 及 数据 集 相似 
度 的 计算 会 受到 聚 类 输出 反馈 的 影响 。 























图 像 特 征 选择 与 提取 


数据 集 相似 度 的 计算 


聚 类 评估 








图 5-1 图 像 聚 类 过 程 


到 目前 为 止 ， 评 价 聚 类 方法 的 优 劣 还 没有 量化 的 客观 标准 ， 因 而 聚 类 方法 
效果 的 好 与 差 主要 采用 以 下 几 个 标准 来 衡量 : 是 否 具有 处 理 大 量 数 据 集合 的 能 
力 ; 是 否 具有 处 理 数据 抗 噪声 的 能 力 ; 是 否 具有 人 处理 携带 间隔 或 内 套 的 任意 类 
型 数据 的 能 力 ; 是 否 具有 处 理 后 的 输出 结果 与 数据 输入 的 顺序 无 关 的 能 力 ; 是 
否 具 有 处理 多 维 数据 的 能 力 ;在 只 类 过 程 中 是 否 需 要 先 验 知识 。 
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常用 的 图 像 聚 类 分 割 算法 


在 图 像 分 割 中 ,根据 图 像 中 要 处 理 的 数据 、 分 割 的 目的 以 及 用 途 ， 可 选取 
不 同 的 聚 类 算法 以 实现 图 像 分 割 的 目的 ， 目 前 常用 于 图 像 分 割 的 聚 类 算法 大 体 
上 可 分 为 划分 聚 类 算法 、 层 次 聚 类 算法 、 基 于 密度 的 聚 类 算法 、 基 于 模型 的 聚 
类 算法 以 及 基于 网 格 的 聚 类 算法 。 


5.2.1 划分 聚 类 算法 


划分 聚 类 算法 采用 目标 函数 最 小 化 策略 把 一 个 确定 的 w 个 数据 对 象 的 数据 
集 分 成 个 组 ， 并且 该 算法 使 得 每 一 组 中 的 对 象 相似 度 相当 高 ， 而 不 同 组 的 对 
象 相似 度 比 较 低 ， 由 此 可 知 相 似 度 的 定义 是 划分 聚 类 算法 的 关键 环节 。 该 算法 
的 目标 函数 一 般 定义 为 式 (5-5)， 其 中 x 表示 对 象 空间 中 一 个 数据 对 象 ， 且 zw, 是 
第 i 类 的 均值 ，/ 为 集合 4 中 全 部 对 象 与 对 应 的 聚 类 中 心 的 均 方 差 之 和 。 最 常用 
的 划分 聚 类 算法 包含 k- means 算法 和 k- medoids 算法 。 


i N 
a Dy YA (Ry (5-5) 
人 






































1. k-means 算法 

k-means 算法 的 原理 是 将 恒定 的 个 数据 目标 的 数据 集 分 成 事先 给 定 的 数目 
为 的 艇 ,首先 随机 选择 个 对 象 作为 初始 的 个 聚 类 中 心 C = (Cl，C,，…， 
C;) ， 接 着 通过 算出 其 余 的 所 有 样本 到 各 自 聚 类 中 心 的 距离 ， 把 该 样本 划分 到 距 
离 它 很 近 的 类 中 ， 之 后 再 使 用 平均 值 的 方法 计算 调整 后 的 新 类 的 聚 类 中 心 ， 重 
复 上 述 步 又 直 到 计算 出 的 两 次 类 中 心 保持 不 变 时 ， 标 志 着 数据 集中 的 样本 分 类 
结束 日 聚 类 平均 误差 准则 函数 处 于 收敛 状态 ， 取 类 平均 误差 准则 函数 的 表 
达 式 见 式 (5-6) ， 其 中 7 为 数据 集 的 数据 对 象 ，m, 是 第 i 类 聚 类 中 心 C; 的 平均 
值 ，F 代表 数据 集中 全 部 数据 对 象 的 平方 误差 的 总 和 。 


F= 2 2 |-ml (5-6) 
hk- means 算法 虽然 容易 实现 ， 但 是 该 算法 也 具有 一 些 缺 陷 : k-means 算法 当 
选用 不 一 样 的 初始 值 时 ， 能 够 得 到 不 相同 的 聚 类 结果 ， 因 此 该 算法 对 初始 聚 类 
中 心 的 依赖 性 较 大 ; k- means 算法 对 独立 点 及 噪声 点 反应 较为 敏锐 ， 严 重 时 会 导 
致 察 类 中 心 的 偏离 ，k- means 算法 需要 预先 掌握 的 知识 来 求 出 待 生 成 的 簇 的 
数目 。 
2. kk- medoids 算法 
k- medoids 算法 的 处 理 过 程 如 下 : 先 随意 选 出 上 个 对 象 作为 初始 的 个 聚 类 
的 代表 点 ， 接 着 算出 其 余 的 样本 到 其 最 靠近 聚 类 中 心 的 对 象 的 距离 ， 把 该 样本 




















46 


;5 第 5 章 结合 聚 类 分 割 的 分 水 岭 算 法 





归 类 到 离 它 最 近 的 聚 类 中 ， 并 依据 某 代 价 函 数 估算 目标 与 代表 点 间 的 相 异 度 平 
均值 ， 若 对 象 与 代表 点 相似 则 替换 代表 点 ， 反 复 进 行 上 述 过 程 直 到 不 再 有 对 象 
蔡 换 代表 点 为 止 。k-medoids 算法 包括 PAM 算法 、CLARANS 算法 以 及 CLARA 
算法 。 当 数据 集 和 簇 的 数目 较 大 时 ，PAM 算法 的 性 能 就 会 变 得 很 差 ，CLARANS 
算法 不 能 辨认 套 藤 或 其 余 繁 杂 形 状 的 聚 类 形状 ,而 且 该 算法 具有 运算 效率 低 、 
没有 处 理 高 维 数据 的 能 力 以 及 不 能 准确 找到 局 部 极 小 点 产生 错误 的 聚 类 结果 的 
缺陷 ; CLARA 算法 的 聚 类 结果 与 抽样 的 样本 大 小 有 关 ， 当 抽样 的 样本 发 生 偏 差 
时 ，CLARA 算法 的 性 能 就 会 变 差 而 不 能 得 到 良好 的 聚 类 结果 。 


5.2.2 层次 聚 类 算法 


层次 聚 类 算法 分 为 凝聚 层次 聚 类 算法 和 分 裂 层 次 聚 类 算法 。 肇 聚 层次 聚 类 
认为 每 一 个 对 象 是 一 个 复 ， 遵 循 自 下 而 上 的 原则 逐步 归并 簇 ， 继 而 构成 很 大 的 
复 ， 反 复 这 一 过 程 直 到 图 像 中 所 有 的 对 象 都 在 同一 个 复 中 或 满足 某 一 约束 条 件 
时 ， 该 算法 结束 。 分 裂 层 次 聚 类 的 过 程 与 族 聚 层次 聚 类 的 过 程 相 反 ， 分 裂 层 次 
聚 类 认为 图 像 中 所 有 的 对 象 已 经 在 一 个 自 中 ， 遵 循 自 上 而 下 的 原则 逐渐 将 图 像 
中 的 对 象 从 一 个 复 中 划分 为 起 来 越 小 的 复 ， 反 复 这 一 过 程 直 到 图 像 中 每 一 个 对 
象 被 分 为 单独 的 一 复 或 满足 某 一 约束 条 件 时 ， 该 算法 结束 。 经 常 使 用 的 层次 聚 
类 算法 有 BIRCH 算法 、ROCK 算法 、CURE 算法 、Chameleon 算法 等 。BIRCH 算 
法 通过 扫描 数据 来 建立 一 个 有 关 聚 类 结构 的 CF 树 ， 并 对 此 CF 树 的 叶 节 点 进行 
聚 类 ; ROCK 算法 根据 相似 度 阐 值 与 共同 邻 域 的 基本 概念 计算 出 图 像 的 相似 度 算 
阵 ， 接 着 从 图 像 的 相似 度 抢 阵 中 构建 一 个 稀 朴 图 ， 并 对 该 稀 朴 图 进行 聚 类 ; 
CURE 算法 依据 收缩 因子 的 值 调整 每 个 徐 的 大 小 和 形状 ， 从 而 形成 不 同类 型 的 簇 
而 完成 聚 类 ; Chameleon 算法 依据 知 图 像 中 存在 两 个 复 之 间 相 似 性 以 及 互联 性 高 
度 相 关 的 对 象 ， 则 动态 地 合并 这 两 个 复 ， 重 复 上 述 过 程 直到 不 能 合并 为 止 ， 该 
算法 结束 。 

层次 聚 类 算法 虽然 易 处 理 不 同 粒度 水 平 上 的 数据 ， 但 是 该 算法 的 结束 条 件 
模糊 ; 其 扩展 性 不 良 ， 因 而 要 求 预 先 算出 图 像 中 大 部 分 的 簇 才 可 完成 合并 或 分 
裂 操作 ;并 且 该 算法 的 归并 或 制 裂 徐 的 处 理 是 不 可 修正 的 ， 因 此 该 算法 聚 类 质 
量 较 低 。 


5.2.3 基于 密度 的 聚 类 算法 


基于 密度 的 聚 类 算法 弥补 了 划分 聚 类 算法 和 层次 聚 类 算法 的 不 足 ， 不 仅 可 
以 处 理 凸 形 复 的 聚 类 ， 而 且 可 以 处 理 任意 形状 复 的 聚 类 ， 该 算法 依据 图 像 中 数 
据 集 密度 的 相似 度 ， 把 密度 相近 的 数据 集 划分 为 一 个 复 ， 反 之 ， 把 密度 不 接近 
的 数据 集 划 分 为 不 同 的 簇 ， 从 而 完成 聚 类 的 目的 。 常 用 的 基于 密度 的 聚 类 算法 
有 DBSCAN 算法 、DENCLUE 算法 以 及 OPTICS 算法 等 。DBSCAN 算法 通过 图 像 
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中 对 象 集合 的 每 个 对 象 的 特定 邻 域 来 确定 篮 的 区 域 ， 该 算法 的 聚 类 结果 不 受 数 
据 输 入 顺序 的 影响 ， 但 此 算法 在 执行 的 时 候 ， 需 要 事先 知道 图 像 中 确定 输入 的 
聚 类 参数 ， 但 由 于 现实 中 的 高 维 数据 集 不 容易 确定 出 聚 类 参数 ， 因 此 该 方法 具 
有 一 定 的 局 限 性 ; DENCLUE 算法 依据 图 像 中 数据 集 的 影响 函数 来 计算 数据 空间 
的 整体 密度 ， 接 着 确定 出 密度 吸引 点 并 寻找 到 确定 的 各 个 簇 的 区 域 而 完成 聚 类 
的 目的 ， 但 是 该 算法 受 聚 类 参数 的 影响 较 大 ， 往 往 参 数值 的 轻微 变化 会 引发 差 
别 较 大 的 聚 类 结果 ; OPTICS 算法 可 以 自动 、 交 互 地 算出 图 像 中 簇 的 次 序 ， 并 且 
此 次 序 表示 数据 集 的 聚 类 结构 ， 但 是 由 于 该 算法 所 确定 的 聚 类 结构 是 从 一 个 宽 
泛 的 参数 所 设置 的 范围 中 所 获得 ， 因 此 该 算法 不 能 产生 一 个 数据 集 的 合 簇 ， 因 
而 聚 类 结果 不 太 理 想 。 


5.2.4 基于 模型 的 聚 类 算法 


基于 模型 的 聚 类 算法 依据 图 像 中 的 数据 集 符合 某 一 概率 分 布 这 一 假设 ， 把 
数据 集 表示 为 某 一 数学 模型 来 实现 聚 类 的 目的 ， 因 而 该 方法 划分 的 每 一 个 篮 的 
形式 均 是 通过 概率 描述 来 表示 的 。 常 用 的 基于 模型 的 聚 类 算法 有 统计 方法 和 神 
经 网 络 方法 ， 此 外 还 有 一 些 新 的 模型 聚 类 算法 ， 例 如 ， 支持 矢量 方法 的 聚 类 算 
法 、SPC 算法 以 及 SyMP 算法 等 。 

统计 聚 类 方法 有 COBWEB 算法 、CLASSIT 算法 、AutoClass 算法 以 及 高 斯 混 
合 模型 算法 等 。COBWEB 算法 是 最 著名 的 基于 统计 聚 类 的 方法 ， 该 算法 用 一 个 
启发 式 估 算 度 量 将 数据 集中 的 对 象 加 入 到 能 够 产生 最 高 分 类 效果 分 类 树 的 位 置 ， 
于 是 会 不 断 地 创建 出 新 的 类 ， 从 而 完成 聚 类 的 目的 。COBWEB 算法 不 需要 事先 
提供 数据 集 的 聚 类 参数 就 可 以 自动 地 修正 并 划分 出 数据 集 的 簇 的 数目 ,但 是 由 
于 该 方法 进行 的 前 提 是 假设 每 个 徐 的 概率 分 布 是 相互 独立 的 ， 因 而 该 方法 具有 
局 限 性 ; 此 外 该 方法 在 存储 和 更 新 数据 集 的 每 个 徐 的 概率 分 布 的 时 候 ， 均 会 付 
出 较 高 的 代价 而 效率 变 低 。CLASSIT 算法 可 以 处 理 连续 性 数据 集 的 增 量 的 聚 类 ， 
并 且 该 算法 是 COBWEB 算法 的 一 个 衍生 算法 ， 因 而 该 算法 存在 与 COBWEB 算法 
相同 的 缺陷 ， 因 此 该 算法 也 不 适用 于 解决 大 型 数据 集 的 聚 类 问题 。 

神经 网 络 方法 将 数据 集 的 每 一 个 复 看 作 是 一 个 例证 ， 并 将 该 例证 视 为 聚 类 
的 初始 点 ， 接 着 该 算法 依据 某 种 相似 度 ， 将 新 的 对 象 分 配 到 与 其 最 相似 的 簇 中 
而 完成 聚 类 的 目的 。 主 要 的 神经 网 络 方法 包含 竞争 学 习 神 经 网 络 方法 和 自 组 织 
村 征 映射 神经 网 络 方法 。 基 于 神经 网 络 的 聚 类 算法 处 理 数 据 需要 的 时 间 较 长 ， 
并 且 不 适合 将 其 用 于 大 型 数据 集 的 处 理 。 


5.2.5 基于 网 格 的 聚 类 算法 


基于 网 格 的 聚 类 算法 是 首先 将 图 像 空间 数据 量化 成 某 些 单元 ， 然 后 该 算法 
对 这 些 量化 单元 进行 聚 类 。 经 典 的 基于 网 格 的 聚 类 算法 有 STING 算法 、CLIQUE 
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算法 以 及 WaveCluster 算法 。STING 算法 是 一 种 针对 不 同 级 别 的 分 辩 率 将 图 像 空 
间 分 为 多 个 级 别 的 长 方形 单元 的 多 分 辩 率 的 聚 类 方法 ; CLIQUE 算法 是 一 种 综合 
密度 与 网 格 的 针对 处 理 高 维 数据 集 的 聚 类 算法 ; WaveCluster 算法 采用 小 波 变 换 把 
图 像 的 数据 集 的 空间 域 转变 为 其 频率 域 ， 并 在 这 个 频率 域 中 找到 密集 的 数据 区 域 
而 实现 数据 聚 类 。 基 于 网 格 的 聚 类 算法 虽然 能 快速 聚 类 ， 但 是 该 算法 只 能 对 垂直 
和 水 平 边界 执行 聚 类 ， 不 能 对 斜 边界 执行 聚 类 ， 因 此 该 算法 具有 一 定 的 局 限 性 ; 
其 时 间 复 杂 程 度 通常 与 数据 集 的 规模 无 关 而 与 网 格 数目 相关 ， 若 网 格 单元 数 太 大 ， 
则 其 时 间 复 杂 度 就 会 变 大 ， 反 之 若 网 格 单元 数 太 小 ， 该 算法 的 聚 类 精确 度 就 会 受 
影响 ， 因 此 该 算法 选取 恰当 的 网 格 数 是 取得 良好 的 聚 类 效果 的 关键 环节 。 


改进 的 FCM 聚 类 分 割 算法 


依据 图 像 数 据 集中 的 簇 的 重 闪 程度 可 以 将 聚 类 分 割 算法 分 为 硬性 聚 类 算法 
和 模糊 聚 类 算法 。 硬 性 聚 类 算法 体现 了 对 象 与 篮 之 间 的 非 此 即 彼 的 关系 ， 即 严 
格 地 把 每 个 待 聚 类 的 对 象 分 类 到 某 个 复 中 ， 设 图 像 的 数据 集 为 工 = 
{xi ，%，…，%,}， 其 分 类 的 数目 为 <， 且 满足 条 件 (2<c<n); 假设 将 数据 集 
X 划分 为 互 不 重 炙 的 < 个 徐 ， 使 得 任何 一 个 X 中 的 样本 点 均 属于 某 一 个 徐 ，, 并 且 
每 一 个 簇 中 最 少 有 一 个 样本 点 ， 那 么 这 个 硬性 聚 类 算法 的 聚 类 结果 就 可 以 表示 
为 一 个 cxn 阶 的 矩阵 U， 则 数据 集中 的 第 j 类 可 以 表示 为 必 ， 甚 表达 式 见 
式 (5-7)。 通常 在 实践 中 事物 间 的 边界 限 并 不 是 很 分 明 ， 就 会 出 现 模 糊 划 分 的 
聚 类 算法 ， 而 模糊 集合 理论 又 为 模糊 聚 类 算法 提供 了 优良 的 数学 工具 。 模 糊 聚 
类 算法 窍 阵 U 中 元 素 的 取 值 并 不 只 局 限于 0 与 1 这 两 个 值 ， 而 是 在 0 与 1 之 间 的 
区 间 上 取 值 ， 因 而 此 时 的 硬性 聚 类 算法 就 转变 为 模糊 聚 类 算法 。 

1 x,ed; Aj(j=1,2,.…,c) 
lO eg Ml 

硬性 聚 类 算法 一 般 采用 最 小 平方 误差 和 作为 其 聚 类 准则 ,， 设 w( =1，2，…，oc) 
是 该 聚 类 的 聚 类 中 心 ， 必 代表 图 像 数 据 集中 的 第 ) 类 样本 忆 到 聚 类 中 心 "的 距 
离 ， 各 艇 中 样本 到 聚 类 中 心 的 距离 平方 和 用 J(U,V) 表示 ， 则 此 硬性 聚 类 算法 
的 目标 函数 表示 为 式 (5-8) 或 式 (5-9)， 并 且 当 用 迭代 算法 来 求 取 最 小 的 
JU， 人 态 时 ， 就 可 以 找到 最 佳 的 图 像 矩 阵 与 聚 类 中 心 的 配对 ， 即 (UVU，V) ; 模糊 
聚 类 算法 一 般 采 用 拉 格 朗 日 乘 数 法 求 目 标 函 数 ， 设 x,、v 都 是 g 维 向 量 ，V x， 
osR"，4 是 gxy9 的 矩阵 ,4sMW ， 数 据 集 中 的 样本 与 聚 类 中 心 w 之 间距 离 的 
平方 表示 为 (d;)*， 其 表达 式 见 式 (5-10) ， 其 中 了 表示 和 矩阵 的 转 置 ， 且 4 为 对 
称 和 矩阵 ， 当 4 = 了 7 时 ， 式 (5- 10) 转化 为 欧式 距离 ， 该 模糊 聚 类 算法 的 目标 函数 


的 表达 式 见 式 (5-11) ， 利 用 约束 条 件 六 ww = 1,Vh 可 求 得 J(U，V) 的 最 小 






























































(5-7) 
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值 ， 从 而 找到 最 佳 的 几 与 or 


NU = 5 (ZE)) (3558) 
NU = (Pd)’) we {0 (5-9) 
Cai)” = lss wl = (om (5-10) 
NOD = PB "(da)’ (5-11) 


HCM 聚 类 算法 是 典型 的 硬性 聚 类 算法 ， 该 算法 收敛 速度 较 快 ， 但 由 于 此 算 
法 只 能 将 图 像 中 的 样本 点 以 概率 0 和 1 划分 到 各 个 复 中 ， 因 此 该 方法 不 能 够 充分 
表现 出 客观 事物 的 模糊 特性 ， 因 而 在 实际 的 图 像 分 割 中 往往 会 产生 错误 分 割 。 
相反 ， 模 糊 聚 类 算法 中 的 一 种 典型 算法 FCM 算法 就 可 以 解决 HCM 算法 中 不 能 
充分 表达 事物 模糊 性 的 这 一 缺陷 ， 该 算法 在 图 像 分 割 中 利用 隶属 度 函 数 解决 了 
像素 同时 属于 多 个 不 同类 别 的 可 能 性 问题 ; 该 算法 能 够 避免 冰 值 的 设 定 问 题 ， 
并 能 解决 阔 值 分 割 中 多 个 分 支 的 分 割 问 题 ， 该 算法 可 以 形成 较 细致 的 特征 空间 ， 
其 分 割 结果 不 会 像 硬 聚 类 分 割 那样 产生 某 种 偏差 ; 该 算法 的 聚 类 过 程 是 自动 进 
行 的 ， 是 无 监督 的 聚 类 方法 ， 因 而 该 算法 在 图 像 分 割 领域 被 广泛 应 用 。 

FCM 算法 的 图 像 分 割 的 步骤 如 下 : 设 待 分割 的 图 像 为 M， 其 分 割 门限 为 9 ， 
然后 对 该 图 像 采 用 迭代 优化 方案 求 其 FCM 算法 中 目标 函数 J(U,，V) 的 最 小 值 。 
首先 ,确定 图 像 的 聚 类 数 日 c(2<c<n) 以 及 加 权 指 数 m(me [2，w ]) ; 接着 ， 
初始 化 模糊 聚 类 矩阵 U， 其 初始 值 V0? = [n(x, y)']， 且 1 =0; 然后 ,依据 
式 (5-12) 计 算 各 个 簇 的 聚 类 中 心 v, 并 且 计 算 新 的 模糊 聚 类 和 矩阵 VU*!， 再 依据 
式 (5-13) 和 式 (5-14) 分 别 计算 M(x, y)、M(x, y); 车 M(x, y) = 多， 则 
满足 式 (5-15)，, 反之 , 若 M(x, y) 关 久 ， 则 满足 式 (5-16); 最 后 ,检查 
T1507? -Uv 的 值 是 否 小 于 FCM 算法 预先 设 的 阔 值 ， 若 该 值 小 于 此 阔 值 则 标志 
着 FCM 算法 结束 ， 图 像 分 割 已 完成 ， 反 之 ， 若 该 值 大 于 或 等 于 FCM 算法 预先 设 
的 阔 值 ， 则 算法 就 会 继续 计算 新 的 聚 类 中 心 ， 当 达到 停止 条 件 时 停止 ， 此 时 算 
法 收敛 后 ， 其 分 割 图像 可 表示 为 式 (5-17)。 




































































w= asp)) a) Clrsp))" (5-12) 
M(x,y) = {ilO <i < esdi(x,y) = fxsy) -ol=0} (5-13) 
M(x,y) = 10.1.2 ,0c 1}- M(x,y) (5-14) 
wt > (5-15) 
tlxsy) =0, PD pbx) = 1,ie M(x,y) (5-16) 
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Hi(%,y) =max{po x,y) HK) pa xsy) ,Mei (XY) 0 (5-17) 
影响 FCM 聚 类 算法 分 割 质量 的 因素 如 下 : 

1) FCM 聚 类 算法 的 初始 隶属 度 和 矩阵 ， 该 矩阵 直接 影响 FCM 聚 类 算法 是 否 
能 找到 最 佳 的 聚 类 中 心 以 及 影响 FCM 聚 类 算法 的 运算 时 间 和 迭代 次 数 。 

2) FCM 案 类 算法 的 对 称 和 矩阵 ， 该 矩阵 的 矩阵 形式 直接 影响 FCM 聚 类 算法 
的 聚 类 分 布 ， 是 球状 分 布 、 条 状 分 布 、 带 形 分 布 、 和 矩形 分 布 还 是 菱形 分 布 等 。 

3) FCM 聚 类 算法 的 聚 类 数目 ， 这 个 参数 直接 影响 FCM 聚 类 算法 的 运算 时 
间 ， 假 如 此 数目 很 大 ， 其 运算 时 间 就 会 成 倍增 加 ， 因 而 此 时 该 算法 在 一 般 的 实 
验 设备 就 难以 完成 。 

4) FCM 聚 类 算法 的 加 权 指 数 ， 该 参数 控制 着 模糊 聚 类 的 类 间 模 糊 程度 ， 若 
该 加 权 指 数 变 大 ， 则 分 类 和 珑 阵 模 糊 程度 就 会 变 大 ; 当 该 加 权 指 数 趋 于 无 穷 的 时 
候 ， 隶 属 度 矩 阵 中 的 元 素 均 接近 1/c (c 为 聚 类 的 总 数 ) ， 此 时 隶属 度 和 矩阵 就 失 
去 了 意义 。 

5) FCM 聚 类 算法 的 阔 值 设 定 ， 如 果 阔 值 设 置 得 太 大 ， 则 每 次 运算 的 聚 类 结 
果 就 会 有 较 大 的 差异 ， 且 聚 类 结果 也 不 稳定 ; 反之 ， 如 果 阔 值 设 置 得 太 小 ， 则 
该 算法 的 运算 量 就 会 增加 ， 从 而 导致 运算 时 间 变 长 以 及 产生 该 算法 不 能 收敛 的 
结果 。 

因此 ， 改 进 FCM 聚 类 算法 的 分 割 效果 实质 就 是 对 以 上 几 个 因素 的 改进 ， 本 
章 对 传统 的 FCM 聚 类 算法 进行 了 如 下 改进 : 

1) 隶属 度 和 矩阵 的 改进 利用 图 像 中 像素 的 空间 特征 加 强 原 有 的 隶属 度 函 
数 ， 使 同类 区 域 的 邻 域 像 素 携带 少量 的 噪声 点 的 权重 ， 最 终 获 得 较 准 确 的 聚 类 
中 心 ; 改进 的 隶属 度 迭 代 公 式 见 式 (5-18)， 其 中 p、g 分 别 为 控制 原 有 隶属 度 
和 控制 空间 函数 间 关 系 的 参数 ， 改 进 隶 属 度 后 得 到 的 育 类 中 心 的 迭代 函数 的 公 
式 见 式 (5-19)。 




















nat (5-18) 
x 


“= (FCs)/ Sm)" (5-19) 
2) 对 称 和 矩阵 的 选择 : 根据 图 像 的 聚 类 分 布 对 应 地 选择 出 对 称 和 矩阵 的 形式 。 
3) 聚 类 数目 的 确定 : 本 章 采 用 结合 阔 值 分 制 的 分 水 岭 算法 中 的 分 水 岭 盆 地 
的 个 数 作为 初始 的 聚 类 数目 ， 从 而 解决 了 传统 的 FCM 聚 类 算法 不 能 自动 确定 总 
的 聚 类 数目 的 问题 。 
4) 加 权 指 数 的 确定 : 对 于 不 同 的 图 像 ， 加 权 指 数 也 具有 不 同 的 取 值 范围 ， 
但 加 权 指 数 有 一 个 经 验 范围 是 [1，1.5]， 之 后 又 从 物理 上 求 出 ， 当 加 权 指 数 取 2 
的 时 候 ， 其 表示 的 模糊 聚 类 的 类 间 模 糊 程度 最 有 意义 。 
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5) 阔 值 设 定 ， 本 章 采用 结合 梯度 特征 的 最 大 类 间 方 差 法 无 监督 、 自 适应 地 
确定 了 多 源 图 像 的 分 割 闽 值 ， 从 而 为 FCM 聚 类 算法 收敛 到 较 好 的 聚 类 结果 商定 
了 一 定 的 基础 。 
因此 ， 通 过 上 述 改进 的 FCM 聚 类 分 割 算法 可 以 求 出 新 的 目标 函数 的 表达 式 
为 式 (5-20) ， 并 且 用 和 迭代 算法 可 求 出 目标 函数 J(U，P) 最 小 值 ， 从 而 得 到 最 

佳 的 图 像 矩 阵 与 聚 类 中 心 的 配对 ， 即 (UVU，V) ， 最 终 完成 聚 类 分 割 的 目的 。 
JUJ = > > (Cu,) (4d,)’ (5-20) 


因此 ， 示 章 采 用 结合 空间 特征 的 FCM 聚 类 算法 对 分 水 岭 算法 进行 政 进 操作 ， 
从 而 形成 了 结合 改进 的 FCM 聚 类 分 割 的 分 水 岭 算 法 ， 该 算法 减弱 了 分 水 岭 算 法 
易 受 图 像 中 的 量化 误差 的 影响 ; 与 此 同时 该 算法 也 归并 了 图 像 中 那些 细微 的 无 
语义 学 意义 的 过 分 割 的 小 区 域 ， 使 得 被 分 割 的 目标 轮廓 更 为 清晰 ;并 且 该 算法 
进一步 改善 了 传统 分 水 岭 算 法 中 易 产生 过 分 割 的 缺陷 ， 最 终 得 到 具有 较 高 分 割 
质量 的 图 像 。 本 章 采 用 VC ++6.0 开发 环境 编程 调试 完成 的 结合 空间 特征 的 
FCM 眼 类 分 制 算法 对 结合 闵 值 算法 的 分 水 岭 分 割 图 像 进行 图 像 分 割 ， 其 分 割 结 
果 分 别 如 图 5-2 和 图 5-3 所 示 ， 其 中 图 5-2 为 可 见 光 图 像 的 结合 聚 类 算法 的 分 水 
S$ 分 割 图像， 图 5-3 为 红外 图 像 的 结合 聚 类 算法 的 分 水 岭 分 割 图 像 。 







































































































































































人 
人 输入 图 像 直 人 输出 图 像 汽车 输入 图 像 by 汽车 输出 图 像 
et B30 : 
E> ~ vB Ys 
坦克 输入 图 像 0 坦克 输出 图 像 飞机 输入 图 像 d) 飞机 输出 图 像 





景观 输入 图 像 6) 景观 输出 图 像 


图 5-2 ”可见光 图 像 的 结合 聚 类 算法 的 分 水 岭 分 割 图 像 


S2 


第 5 章 结合 聚 类 分 割 的 分 水 岭 算 法 


人 输入 图 像 人 输出 图 像 汽车 输入 图 像 汽车 输出 图 像 
坦克 输入 图 像 坦克 输出 图 像 飞机 输入 图 像 飞机 输出 图 像 


图 $-3 红外 图 像 的 结合 聚 类 算法 的 分 水 岭 分 割 图 像 


本 章 小 结 


本 章 主要 研究 了 多 源 图 像 的 聚 类 分 割 的 方法 ， 首 先 研 究 了 聚 类 算法 的 基本 
思想 、 基 本 原理 、 定 义 、 所 需 的 数据 类 型 、 评 价 聚 类 算法 的 标准 以 及 实现 图 像 
聚 类 分 割 算法 的 基本 步 又 ， 从 而 为 寻找 合适 的 聚 类 分 制 方法 商定 了 扎实 的 理论 
基础 ; 其 次 ， 本 章 通过 分 析 比 较 常 用 的 聚 类 分 制 方法 的 优 缺点 ， 从 而 为 寻找 最 
佳 的 聚 类 分 割 方法 提供 了 一 定 的 思路 ; 再 次 ， 本 章 主 要 研究 了 模糊 聚 类 算法 中 
的 一 种 典型 算法 FCM 算法 ， 并 对 影响 该 算法 分 割 效果 的 因素 进行 了 深入 分 析 ， 
从 而 为 改进 FCM 算法 提供 了 一 定 的 思路 ， 并 且 因此 本 章 提出 了 一 些 改进 FCM 算 
法 的 措施 ， 使 FCM 算法 能 够 自动 地 确定 聚 类 数目 、 具 有 较 好 的 最 佳 收敛 阔 值 ， 
并 且 该 算法 最 终 被 改进 成 结合 空间 特征 的 FCM 聚 类 分 割 算法 ， 最 后 再 使 用 改进 
人 水 岭 分 割 方法 进行 改进 ， 从 而 又 提出 了 结合 改 

进 的 FCM 聚 类 分 割 的 分 水 岭 算法 ， 并 且 本 章 将 改进 的 FCM 聚 类 分 割 算法 在 
VC ++6. 0 开发 环境 下 进行 了 实验 ， 从 而 完成 了 对 分 水 岭 算 法 的 更 大 改进 。 
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随 着 微 电 子 、 计 算 机 、 信 息 技术 等 学 科 的 迅速 发 展 和 广泛 应 用 ， 传 感 器 技 
术 也 得 到 了 快速 发 展 ， 越 来 越 多 的 应 用 系统 配备 了 多 个 传感器 以 满足 实际 环境 
需要 。 因 此 ， 如 何 利 用 多 个 传感器 所 蕴含 的 丰富 信息 来 确保 系统 更 可 靠 、 性 能 
更 卓越 是 摆 在 研究 人 员 面 前 的 一 大 任务 。 多 传感器 所 列 含 的 信息 具有 多 样 性 、 
复杂 性 和 宛 余 性 ， 并 且 大 多 数 应 用 环境 需要 对 信息 进行 实时 处 理 ， 单 任 人 是 无 
， 因 此 需要 利用 计算 机 进行 计算 ， 实 现 特征 融合 。 所 谓 多 传感器 信息 
融合 是 指 对 来 自 多 个 传感器 的 信息 进行 多 级 别 、 多 方面 、 多 层次 的 处 理 与 综合 ， 
从 而 获得 更 丰富 、 更 精确 、 更 可 靠 的 有 用 信息 。 





法 实现 的 


多 传感器 图 像 特征 融合 是 多 传感器 信息 融合 的 一 个 分 支 。 
征 融合 的 主要 思想 是 利用 不 同 输入 信道 图 像 特 行 









































多 传感器 图 像 特 


F 信 息 的 元 余 性 和 互补 性 ， 采 用 





一 定 的 特征 提取 方法 ， 把 两 个 或 多 个 不 同 传感器 图 像 进行 特征 提取 和 融合 ， 从 








而 使 融合 的 目标 特有 

















FE 向 量 能 更 全 面 地 描述 目标 特征 ， 进 而 提高 目标 识别 系统 的 





可 靠 性 。 例 如 ， 可 见 光 传 感 器 对 图 像 的 亮度 变化 敏感 ， 能 较 好 地 显示 对 比 度 和 


纹理 细节 等 ， 可 以 提取 灰 度 图 像 的 边缘 纹理 特 生 





的 红外 辆 射 特性 ， 可 以 全 天 候 监 测 ， 可 以 提取 图 像 的 形状 特 条 
红外 图 像 的 互补 性 ,分 别提 取 同 一 场景 可 见 光 和 红外 图 像 的 独 有 特征 ， 得 到 一 
组 目标 融合 特征 量 ， 进 一 步 进行 目标 分 类 或 识别 。 

随 着 科技 发 展 ， 多 传感器 应 用 越 来 越 多 ， 是 未 来 发 展 的 趋势 。 而 目标 识别 
是 多 传感器 应 用 的 重要 领域 。 特 征 提取 是 目标 识别 的 关键 技术 ,对 目标 能 否 有 
效 识别 起 决定 性 作用 。 近 年 来 对 单一 传 感 絮 的 特征 进行 提取 ， 


研究 ， 并 取得 了 很 大 的 进展 ， 但 是 对 多 种 传感器 进行 特 生 


























不 多 ， 有 一 些 学 者 和 院 校 刚刚 开始 。 


无 论 采 用 什么 融合 算法 进行 自动 目标 识别 ， 特 和 














FE 提取 是 关键 。 目 标的 特征 











E。 红 外 传感器 反映 目标 和 场景 





E。 利 用 可 见 光 和 





已 有 很 多 学 者 在 


F 提 取 和 融合 的 研究 并 








是 目标 所 具有 的 最 基本 的 内 容 ， 是 该 目标 特有 的 、 用 于 区 别 于 其 他 类 型 目标 的 


最 本 质 的 





属性 。 在 实际 目标 识别 应 用 系统 中 ， 如 何 使 目标 特 生 











FE 化 、 提 取 能 够 全 


面 描述 目标 的 特征 是 实现 实时 、 准 确 目 标识 别 的 关键 所 在 。 作 为 目标 识别 的 关 





键 步骤 ， 
向 量 ， 通 
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过 对 图 像 目 标的 特 铂 


寺 征 提取 的 目的 是 获取 一 组 能 准确 描述 目标 的 “ 少 而 精 ” 的 分 类 特征 
FE 提取 ， 可 以 有 效 地 减少 宛 余 信息 ,减少 系统 的 计 
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算 量 ， 从 而 增强 识别 系统 的 可 靠 性 。 

在 现 有 的 目标 识别 系统 中 ， 常 用 的 特征 有 角 点 特征 、 和 天 特征 、 纹 理 特 征 、 
变换 特征 、 统 计 性 特征 等 。 

1. 角 点 特征 

在 形状 分 析 中 ， 目 标 轮廓 上 的 角 点 是 形状 常用 的 特征 。 相 对 于 其 他 特征 量 
而 言 ， 不 受 目标 有 遮挡、 缺损 的 影响 ， 因 此 角 点 特征 在 目标 识别 中 非常 重要 。 然 
而 ， 角 点 的 定义 一 直 很 模糊 ， 近 年 来 学 者 提出 了 许多 角 点 检测 算法 ， 如 Kitehen 
发 现 以 局 部 梯度 乘 以 梯度 方向 的 变化 可 以 很 好 地 提取 角 点 。Harris 和 Stephens 
(1988) 采用 了 相同 的 思想 对 Moravec 算 子 进行 改进 ， 提 出 了 著名 的 Plessey 角 点 
提取 算 子 。Smith 和 Brady (1997) 提出 了 一 种 完全 不 同 的 角 点 提取 方法 ， 即 
“SUSAN (Smallest Univalue Segment Assimilating Nucleus)” 提 取 算 子 。SUSAN 提 
取 算 子 的 基本 原理 是 ， 与 每 一 图 像 点 相关 的 局 部 区 域 具有 相同 的 亮度 。 

在 目标 识别 中 ， 角 点 特征 应 用 广泛 。 卢 汉 清 等 人 把 形 心 到 相 邻 两 角 点 的 直 
线 所 成 的 夹 角 作 为 特征 量 用 于 目标 识别 。Shutal Li 等 人 把 角 点 与 线 矩 融合 用 于 缺 
损 目 标识 别 ， 有 较 高 的 识别 率 。 由 于 检测 角 点 时 容易 出 现 漏 检 ， 通 常 利用 角 点 
和 其 他 特征 相 结 合 ， 可 以 取得 较 好 地 识别 效果 。 曹 健 每 人 提出 了 一 种 不 变性 的 
角 点 构造 方法 ， 用 于 目标 识别 中 。 

2. 和 矩 特征 

不 变 矩 是 具有 平移 、 比 例 和 旋转 不 变性 的 几何 矩 。 它 是 利用 各 阶 和 矩 的 组 合 
和 矩 作为 特征 量 ， 进 行 目 标识 别 。Hu 于 1962 年 定义 了 连续 函数 矩 ， 给 出 了 七 个 不 
变 矩 ,证 明了 和 矩 具有 平移 、 比 例 以 及 旋转 不 变性 ， 并 用 于 字母 自动 识别 中 。 
R. Y. Hong 在 Hu 不 变 矩 的 基础 上 ， 推 导出 了 离散 函数 不 变 矩 的 多 项 式 。 近 年 来 ， 
几何 矩 应 用 越 来 越 多 ， 许 多 学 者 和 院 校 在 理论 方面 做 了 许多 研究， 并 提出 了 一 
些 新 的 矩 定义 和 性 质 。 针 对 多 项 式 不 变 抢 含 有 宛 余 信息 ， 引 入 了 正 交 和 矩 ， 人 们 
提出 了 Zernike 矩 的 基本 定义 和 性 质 ， 及 其 计算 方法 和 应 用 领域 。 进 而 ， 为 了 满 
足 径 向 和 角度 旋转 不 变性 ， 把 几何 和 珑 推广 到 径 向 矩 。 随 着 小 波 理论 的 发 展 ， 
Shen 等 提出 了 基于 小 波 变 换 的 小 波 不 变 矩 ， 不 仅 能 描述 目标 全 局 特征 ， 还 能 描 
述 目标 局 部 特征 。 

3. 纹理 特征 

图 像 的 纹理 是 图 像 像 素 值 在 灰 度 空间 上 的 重复 和 变化 ， 或 是 反复 出 现 的 局 
部 纹理 模式 及 其 排列 规则 。 纹 理 特 征 是 图 像 的 最 基本 特征 ， 并 在 视觉 系统 起 着 
关键 作用 ， 为 图 像 理解 和 分 析 提 供 了 重要 信息 。Sutton 和 Hall 研究 了 利用 纹理 的 
特征 来 分 类 识别 肺病 。Herlidou 等 人 利用 纹理 的 特征 对 磁 共 振 脑 组 织 进行 识别 。 

4. 变换 特征 

图 像 变 换 特征 就 是 首先 把 图 像 变换 成 频 域 ,， 利用 频 域 中 变换 系数 中 的 相关 
性 来 识别 目标 。 在 图 像 有 随机 噪声 时 ， 不 影响 变换 特征 的 分 类 效果 ， 较 为 常用 
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的 传 里 叶 变换 就 是 用 的 图 像 频 谱 特 征 。 
5. 统计 性 特征 
基于 统计 参数 特征 的 目标 识别 是 将 一 幅 图 像 看 成 是 一 个 二 维 随机 过 程 的 一 

次 实现 ， 这 样 便 可 以 使 用 各 种 统计 参数 来 描述 图 像 的 特征 ， 这 些 统计 参数 有 均 

值 、 方 差 、 能 量 、 箭 等 特征 量 。Haraliek 等 用 灰 度 共生 和 矩阵 纹理 特征 对 遥感 图 像 

进行 分 类 研究 ， 并 获得 了 大 约 80% 的 分 类 精度 。 

目前 国内 外 计算 机 视觉 、 模 式 识 别 与 人 工 智 能 等 领域 都 对 图 像 的 目标 特征 
提取 及 其 应 用 进行 了 深入 研究 ， 并 取得 了 快速 发 展 ， 一 些 成 果 已 具备 初步 的 实 
用 价值 。 随 着 遗传 算法 、 神 经 网 络 、 形 态 学 、 统 计 学 、 小 波 理论 等 深入 研究 广 
泛 应 用 ， 图 像 目 标 特 征 提取 发 展 趋势 如 下 : 

多 种 特征 融合 : 除了 利用 图 像 的 原始 灰 度 特征 外 ， 还 可 利用 图 像 的 高 层次 
特征 ， 如 视觉 特征 、 统 计 特 征 、 变 换 系 数 特征 等 ， 通 过 多 种 特征 的 融合 ， 能 够 
更 全 面 地 描述 图 像 目 标 ， 提 取 的 特征 更 准确 。 多 特征 融合 已 得 到 广泛 应 用 。 例 
如 ， 张 建 军 等 人 把 小 波 能 量 信息 特 征 与 图 像 矩 特征 结合 起 来 ， 用 于 制导 武器 红 
外 图 像 的 目标 识别 ， 结 果 表 明 ， 有 和 较 高 使 用 价值 。 将 基于 显著 性 特征 提取 的 目 
标识 别 方法 与 序 贯 融合 方法 相 结 合 ， 用 于 飞机 目标 识别 。 

多 种 提取 方法 结合 由 于 目标 的 多 样 性 和 复杂 性 ， 单 一 的 特征 提取 方法 难 
以 对 含 复杂 目标 的 图 像 进 行 提取 。 在 这 种 情况 下 ， 除 需要 利用 多 种 特征 的 融合 
外 ， 还 需要 将 多 种 提取 方法 结合 使 用 ， 使 提取 方法 充分 发 挥 各 自 的 优势 ， 避 免 
各 自 的 劣势 。 比 如 于 吉 红 等 人 把 部 分 Hu 和 矩 、 仿 射 矩 和 小 波 矩 组 合 在 一 起 ， 用 于 
舰 船 图 像 目 标的 分 类 识别 ， 提 高 了 识别 率 。 张 劲 锋 等 人 把 Hu 不 变 矩 的 部 分 分 量 
和 仿 射 不 变 矩 结合 成 新 的 特征 向 量 ， 用 于 空间 目标 的 识别 。 

多 种 传感器 融合 : 由 于 不 同 传感器 描述 目标 的 多 样 性 ， 采 用 单一 传感器 不 
能 全 面 、 准 确 描 述 目标 ， 需 要 利用 多 种 传感器 的 互补 特性 ， 提 取 目 标的 不 同 特 
征 ， 进 行 多 传感器 特征 融合 ， 全 面 描述 目标 特征 ， 提 高 识别 系统 的 鲁 棒 性 和 识 
别 率 。 例 如 ， 熊 大 容 等 人 利用 红外 和 可 见 光 的 互补 优势 ， 对 远 距 离 的 目标 进行 
检测 ， 增 强 了 系统 的 可 靠 性 。 凌 虎 等 人 分 别提 取 不 同 传感器 的 轮廓 特征 ， 融 合 
在 一 起 用 于 目标 检测 。 

与 图 像 分 割 方法 相 适 应 : 由 于 图 像 目 标的 多 样 性 和 各 种 应 用 需求 的 复杂 性 ， 
图 像 的 特征 提取 应 与 图 像 的 分 割 方法 相 结合 ， 特 定 的 提取 方法 选择 特定 的 分 割 
方法 , 来 获得 最 好 的 图 像 识 别 结果 。 

由 于 图 像 目 标 特征 的 复杂 性 和 多 样 性 ， 与 图 像 分 割 相 对 应 ， 现 有 的 方法 不 
能 满足 实际 要 求 ， 一 些 根本 问题 有 待 进一步 研究 ， 还 没有 统一 的 应 用 所 有 模式 
识别 的 特征 提取 方法 。 虽 然 各 种 特征 提取 方法 在 提取 能 力 和 处 理 速 度 方面 各 有 
优势 ,但 是 在 通用 性 、 性 能 、 准 确 率 、 自 动 化 程度 方面 还 有 很 多 不 足 。 因 此 ， 
对 于 图 像 目 标 特征 提取 方法 的 研究 需要 付出 更 多 努力 和 关注 。 
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传统 的 特征 提取 方法 


由 于 目标 的 多 样 性 及 其 复杂 性 ， 使 得 寻找 具有 准确 、 全 面 描述 目标 特征 信 
息 和 具有 良好 分 类 性 能 的 图 像 目 标 特征 以 及 提取 这 些 特 征 就 成 为 解决 图 像 目 标 
识别 问题 的 关键 。 一 般 来 说 ， 不 同 的 传感器 使 用 不 同 的 特征 描述 ， 特 征 提取 方 
法 也 不 相同 。 特 征 提取 与 选择 就 是 对 于 预 处 理 后 的 图 像 目 标 数据 进行 降 维 处 理 、 
去 粗 取 精 的 过 程 。 由 于 原始 图 像 数据 量 相当 大 ， 为 了 快速 计算 出 目标 识别 结 
减少 计算 量 ， 必 须 把 这 些 数据 转换 为 知 干 个 特征 量 ， 称 为 特征 提取 。 为 了 提高 
识别 的 速度 和 精度 ， 对 提取 的 特征 还 必须 进行 降 维 ， 选 择 信息 宛 余 度 较 小 的 特 
征 量 ， 并 且 具 有 上 比例、 旋转 和 位 移 不 变性 等 特性 ， 增 强 提 取 方 法 的 鲁 棒 性 。 

在 提取 目标 特征 时 ， 提 取 的 目标 特征 要 尽 可 能 地 反映 目标 重要 的 、 本 原 的 
特性 。 重 要 特征 是 指 以 它们 作为 特征 分 量 能 实现 同类 目标 聚集 、 异 类 目标 分 散 。 
本 原 特 征 是 指 特征 绝对 性 强 ， 尽 可 能 地 不 依赖 于 提取 目标 特征 时 的 条 件 和 环境 。 
这 两 个 特征 也 就 是 要 求 所 提取 的 特征 量 在 同一 类 型 目标 上 具有 唯一 性 和 稳定 性 ， 
不 同类 型 目标 之 间 具 有 可 区 分 性 。 特 征 提取 和 选择 是 目标 识别 的 核心 ， 也 是 识 
别 分 类 顺 能 准确 识别 目标 的 前 提 。 保 证 所 提取 的 目标 的 特征 量 稳定 、 可 靠 和 实 
用 是 整个 识别 算法 取得 成 功 的 关键 。 


6.1.1 经 典 的 特征 提取 方法 


图 像 的 二 维特 征 有 形状 、 区 域 和 纹理 等 特征 。 不 同 特征 描述 具有 不 同 的 提 
取 算 法 。 

1. 形状 特征 

形状 特征 指 图 像 中 目标 的 几何 特征 ， 根 据 几何 形状 分 为 线形 特征 和 块 状 形 
特征 。 

(1) 周 长 、 长 宽 比 、 复 杂 度 、 面 积 

目标 长 宽 比 是 目标 最 小 外 接 和 矩形 的 长 度 和 宽度 之 比 。 它 可 以 把 不 同 几 何 形 
状 的 物体 区 分 开 来 ， 比 如 长 方形 和 正方 形 。 假 设 目 标的 最 小 外 界 和 矩形 长 为 工 ， 宽 
为 WR， 长 宽 比 为 
























































































































































y, =L/W (6-1) 
目标 周 长 是 指 目标 边界 的 长 度 ， 而 面积 是 目标 区 域 的 像素 总 数 。 利 用 网 像 
目标 的 面积 和 周 长 可 简单 和 有 效 地 把 复杂 与 简单 形状 的 物体 区 别 开 来 。 设 目标 
周 长 为 C， 面 积 为 $。 
目标 形状 的 复杂 度 是 目标 周 长 的 2 次 方 和 面积 的 比值 ， 目 标 形 状 越 复杂 ， 
则 相同 面积 目标 的 边缘 长 度 就 越 长 。 公 式 为 
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w, = C°/S (6-2) 
定义 与 场景 到 镜头 的 距离 无 关 ， 不 失 一 








可 以 证 明 ， 这 种 目标 复杂 度 特 生 
般 性 。 

假定 目标 在 模 坐 标 和 纵 坐 标 方向 上 进行 了 缩放 因子 为 的 平移 ， 那么 目标 
的 面积 变 为 原来 的 1/ 且 ， 周 长 变 为 原先 的 1Ak， 代 入 上 式 ， 形 状 复杂 度 不 变 





(6-3) 





(2) 和 矩 特征 

图 像 矩 特征 是 由 下 式 所 定义 的 M(p，gq) 决定 的 
MP = Yh 

式 中 ，1{fj| 是 在 目标 区 域内 设 为 1， 外 设 为 0 的 二 值 化 图 像 。 由 (P，9) 值 决定 


FE 有 主轴 、 重 心 等 。 








各 种 特征 向 量 ， 常 用 的 特 和 和 
(3) 传 里 叶 描 述 
在 分 析 图 像 目 标 形状 时 ， 首 先 跟踪 目标 边界 线 ， 并 把 对 应 的 封闭 曲线 ， 展 
分 














开 为 傅 里 叶 级 数 ， 则 用 展开 的 系数 表示 目标 形状 特征 。 
除 以 上 特征 外 ， 一 些 具 有 连通 性 的 特征 参数 ， 如 欧 拉 数 、 孔 数 、 连 接 成 
数 等 ， 也 可 用 于 表示 图 形 特征 。 
2. 区 域 分 割 
上 是 把 图 像 对 象 物 区 域 从 背景 中 分 割 出 来 。 最 简单 的 方法 就 是 把 图 
割 方法 有 : 


x| 


区 域 分 害 
像 进行 二 值 化 处 理 ， 关 键 在 于 装 值 的 选取 。 较 复杂 的 分 
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E 相 似 性 ， 把 图 
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(1) 区 域 扩张 法 

区 域 扩张 法 就 是 把 图 像 进行 小 区 域 分 类 ， 根 据 小 区 域 的 特 行 
f 。 根据 区 域 形 成 过 程 的 不 同 ， 又 可 分 为 合并 、 
| 为 N, x N, 的 子 区 域 ， 通 过 研 





E 相 似 的 连续 区 域 旭 


像 分 割 成 特 外 
等 方法 。 合 并 法 的 基本 原理 是 把 图 像 分 
完 邻接 小 区 域 的 相似 性 ， 合 并 相似 性 较 高 的 区 域 ， 反 复 进行 ， 直 到 不 











结合 


像素 结合 


为 止 。 
(2) 聚 类 算法 
该 方法 就 是 把 像素 作为 一 种 模式 ， 然 后 利用 模式 识别 的 理论 进行 区 域 分 
空间 ， 然 后 利用 分 类 法 进行 像素 分 类 。 在 实 





类 。 首 先 把 图 像 像素 变换 到 特征 
际 中 ， 和 常用 小 区 域 来 代替 像素 ， 有 时 用 一 维 投影 代替 多 维特 征 来 进行 目标 区 








域 分 割 。 
3. 纹理 特征 
征 之 一 。 常 用 的 特征 有 : 
正 相 结 


纹理 是 区 域 具 有 的 典型 特 生 
(1) 直方 图 特征 
直方 图 特征 是 纹理 区 域 的 灰 度 直方 图 、 方 差 和 平均 值 等 。 但 直方 图 并 不 能 
得 到 纹理 的 二 维 灰 度 的 变化 情况 。 通 常 需要 进一步 处 理 ， 可 以 与 其 他 特 和 
E。 例 如 可 以 用 二 维 统 计量 、 惯性 矩 等 特征 量 ， 识 别 


合 ， 作 为 识别 的 特 和 
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目标 。 
(2) 傅 里 叶 特征 
纹理 特征 不 仅 可 以 在 空域 中 描述 ， 还 可 以 在 频 域 求 得 。 首 先 计 算出 图 像 
几 x，7y) 傅 里 叶 变 换 F(x，y) 的 功率 谱 Puw，2") ， 转 换 成 极 坐标 为 P(r，9) ， 再 
求 出 : 









































PCD) =2 Pp(r,0) q(0) = 之 "09) (6-4) 
式 中 ,表示 P(w, v) 的 大 小 ， 于 是 可 用 p(r) 和 g(9) 的 波峰 的 大 小 和 位 置 ， 
p(r) 和 4(6) 的 方差 和 平均 值 作为 纹理 特征 。 
通常 图 像 有 多 个 纹理 区 域 ， 要 想 获得 纹理 特征 ， 必 须 进 行 纹理 分 割 。 可 以 
使 用 直方 图 分 割 法 ， 也 可 以 进行 边缘 检测 。 边 缘 检 测 法 就 是 图 像 目标 相 邻 像素 
急剧 变化 ， 可 以 用 边缘 检测 算 子 检测 ， 算 子 可 分 为 两 大 类 : 一 次 微分 得 到 的 ， 
如 Roberts 算 子 、Sobel 算 子 、Prewitt 算 子 等 ; 二 次 微分 得 到 的 ， 如 拉 普 拉 斯 犁 
子 、 高 斯 - 拉 普 拉 斯 算 子 。 


6. 1.2 多 项 式 不 变 矩 


6.1.2.1 几何 憩 
在 直角 坐标 系 中 ,连续 函 数 拟 rz，y) 的 P+9 阶 几 何 矩 定义 为 




































































十 oo +% 


- | [eyf sy) drdy Pp,9 = 0,1,2. (6-5) 


一 oo 一 oo 


这 种 矩 是 将 函数 /1(x，y) 投影 到 xy 上 ， 其 中 基本 集 1xzy"} 具有 完备 性 
不 正 交 性 。 

唯一 性 定理 : 如 果 函 数 f(x，y) 分 段 连续 ， 且 只 在 (x, y) 的 有 限 区 域 有 
非 零 值 ， pe 由 f(x，y) 可 唯一 确定 矩 序 列 [M1 ; 反之 ， 

0 因此 ， 图 像 的 所 有 阶 和 矩 必然 存在 ， 用 
这 些 矩 措 述 图 像 具 有 唯一 性 。 理 论 上 上， 表征 图 像 的 所 有 信息 ， 需 要 计算 无 限 多 
抢 值 。 而 实际 应 用 中 ， 只 需 计 算 包 含 足够 多 图 像 信息 的 矩 值 子 集 就 行 。 

下 面 分 别 介绍 各 低 阶 矩 及 其 物理 意义 : 

(1) 零 阶 矩 

由 式 (6-5) 的 定义 可 知 ， 图 像 f(x，y) 的 零 阶 矩 为 

Mo = {fxsy) dxdy (6-6) 


由 上 式 可 知 ， 对 于 一 幅 灰 度 图 像 ，Mo, 表示 图 像 所 有 灰 度 值 的 和 ; 对 于 一 幅 
二 值 图 像 ，Mo 表 示 图 像 面积 。 














59 


智能 信息 融合 与 目标 识别 方法 5: 


(2) 一 阶 矩 
图 像 Ax，y) 的 一 阶 矩 Mo, 和 Mi, 可 用 来 表示 图 像 重心 。 设 图 像 重心 坐标 为 
(x，7) ， 计 算 公 式 为 
Te y= (6-7) 
对 于 二 值 图 像 (x,，y) 来 说 它 表 示 几 何 中 心 。 若 把 岁 像 重心 与 坐标 系 原点 
重合 , 令 x=0, Y=0， 那 么 式 (6-7) 就 为 图 像 中 心算 。 这 样 计算 出 的 矩 就 与 图 
像 坐标 系 无 关 。 中 心 矩 计算 公式 为 


十 2 十 oo 


= | | -D0 -DA dedy (6-8) 
由 上 式 计 算 可 得 ， 一 阶 中 ， 心 矩 风 ， Kw 满足 jo =Mi0 =0。 
(3) 二 阶 笨 
二 阶 中 心 矩 pe ,us Ai ， 又 称 惯性 矩 。 可 用 来 措 述 物体 的 主轴 和 椭圆 等 重 
要 特性 。 物 体 目标 的 主轴 由 长 轴 和 短 轴 组 成 ， 它 们 分 别 表示 最 大 和 最 小 二 阶 抵 
的 方向 。 主 轴 的 方向 角 8 的 公式 为 


0 = -ye (6-9) 
2 20 “Ko 


式 中 ，9 为 主轴 与 坐标 轴 的 夹 角 ， 它 的 取 值 范围 为 | - 了， 全 |]， 见 表 6-1。 





表 6-1 主轴 方向 的 确定 





Ml Hz0 * Ho> 0 
0 一 0 
十 四 -mT/4<0<0 
+ 0 0 
+ . 0<0<™/4 
0 0 0 
过 十 -mT/4<0<0 
一 0 0 
= 二 0<0< -mT/4 


需要 说 明 的 是 ， 仅 使 用 主轴 角 并 不 能 确定 物体 目标 的 方向 。 比 如 物体 旋转 
180" 后 ， 主 轴 的 方向 不 变 ， 这 就 需要 利用 三 阶 中 心 矩 ， 只 有 这 样 才能 唯一 确定 
物体 方向 。 由 一 、 二 阶 中 心 矩 还 可 确定 一 个 图 像 椭圆 。 图 像 椭圆 就 是 一 个 与 原 

图 像 的 二 阶 矩 和 灰 度 总 和 都 相等 的 李 圆 。 椭 圆 有 长 半 轴 a 和 短 半 轴 5， 定 义 为 
后 tum +[ (py -Mo ) + hm] - 








(6-10) 


1/2 


人 oo 
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b= 后 十 Mo 十 [ (CHUoo pm) + 4 | ] (6- I 
Koo 
椭圆 内 的 灰 度 表示 为 
-Ko 
~ Tab J 


为 了 便于 分 析 图 像 性 质 ， 一 般 将 图 像 重 心 与 椭圆 中 心 和 主轴 方向 重合 ， 如 











投影 的 扭曲 系数 计算 公式 : 


图 6-1 所 示 。 
(4) 三 阶 矩 
三 阶 中 心 矩 A 和 /描述 图 像 投影 后 的 扭曲 ”上 
程度 。 扭 曲 可 用 来 衡量 均值 对 称 分 布 中 的 偏差 各 ee 
度 。 式 (6-13)、 式 (6-14) 为 图 像 在 *，y 轴 A 


_ Hz0 


SF 二 32 (6- 13 ) 
人 20 
内 

sh, = 37 (6-14) 
KH20 





图 6-1 图 像 椭圆 


扭曲 系数 的 正 负 与 图 像 扭 曲 的 关系 见 表 6-2。 对 于 前 面 提 到 的 主轴 方向 的 问 


题 ， 是 根据 扫 曲 系数 的 正 负 来 确定 的 。 


表 6-2 扭曲 系数 的 正 负 与 图 像 扭 曲 的 关系 


























图 像 扭曲 扭曲 系数 符号 
x 轴 投 影 扭曲 方向 sk, 
y 轴 左 侧 王 
对 称 于 y 轴 0 
y 轴 右 侧 
y 轴 投 影 扭曲 方向 sk, 
x 轴 下 方 此 
对 称 于 x 轴 0 
x 轴 上 方 一 
(5) 四 阶 矩 


四 阶 中 心 矩 wo 和 Au 又 称 # 影 峰 度 。 式 (6-15) 
轴 投 影 的 投影 峰 度 系数 计算 公式 : 


和 
人 20 
天 

~ Ko 


、 式 (6-16) 为 图 像 在 x,，y 


(6-15) 


(6-16) 
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式 中 ,， 令 峰 度 系数 等 于 0， 为 高 斯 分 布 ; 小 于 0， 为 平坦 而 少 峰 的 分 布 ; 大 于 0， 
为 狭 罕 而 多 峰 的 分 布 。 

几何 和 矩 经 过 简单 变化 ， 就 可 以 满足 平移 、 缩 放 和 旋转 不 变性 。 

平移 变换 : 将 图 像 Kx，7y) 在 x 轴 和 y 轴 方 向 分 别 平移 a 和 4b， 平移 后 的 图 
像 广 xx ，y) 表示 为 





f° (x,y) =f(x -a,y -0b) (6-17) 
图 像 f(x，y) 的 p+g 阶 矩 为 
M', = | | (x + a) (x +b)f(x,y) dxdy (6-18) 
设 数字 图 像 为 g(m，n) ， 则 式 (6-18) 变换 为 
= 3 Dm+a)’(n+b)'g(m,n) (6-19) 
平移 前 后 矩 ML, 和 M1 的 关系 为 


由 式 (6-20) 可 得 图 像 /(x，y) 的 p+g 阶 中 心 矩 为 
= > 站 je -DI (yD NM, (6-21) 
则 平移 变换 前 后 有 





人 = (6-22) 
比例 变换 : 将 图 像 f(x，y) ee 和 y , 轴 方 向 分 别 缩放 a B 倍 ， 则 比例 变 
换 后 的 新 图 像 f'(x，y) 为 





三 xy) =f(x/ a,y/B) (6-23) 
变换 前 后 的 和 矩 M' 和 MM, 关系 如 式 (6-24)、 式 (6-25) 所 示 : 

M’, =a "BM,, azB (6-24) 

M’ =a ?"M, Qa=B (6-25) 


令 Mw =1 就 可 实现 图 像 比 例 归 一 化 。 对 于 二 值 图 像 ， 可 以 把 图 像 面 积 的 值 
设 为 1。 实 现 归 一 化 的 尺度 因子 表示 为 
1 








p= (6-26) 
V Moo 
归 一 化 后 原点 算 为 
1 (p+g+2) 
M’” = M 6-27 
ee 本 


通过 上 述 的 处 理 方法 ,可 得 出 具有 比例 (缩放 ) 不 变性 的 中 心 矩 为 


十 oo 十 oo 


qu = wm 司 (7 -Pfx,y) dxdy (6-28) 
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式 中 ， y = 己 = 9 一 4 (6-29) 
旋转 变换 : 将 图 像 Kxz*，7y) 绕 坐 标 原点 作 逆 时 针 9 角度 旋转 后 ， 得 到 的 图 

像 f(x,y) 为 
f'(x,y) = fl (xcos0 + ysing),(— xsin0 + ycos0) ] (6-30) 





旋转 变换 后 图 像 六 (x，y) 的 p+g 阶 矩 为 


+% 十 oo 


Mo = | | seosg - ysing)"(xsing + yecosbg)9(z,y)dzdy (6-31) 

对 于 数字 图 像 8(m，n) ， 式 (6-31) 变 为 
M’, = > > (mcosg -ysing)"(msing + ycos0)'g( m,n) (6-32) 

旋转 变换 前 后 的 矩 MM 和 M1, 的 关系 如 下 
M,, = > > (De em (6-33) 


采用 主轴 法 可 以 实现 矩 的 旋转 不 变性 。 对 于 有 唯一 分 布 的 主轴 图 像 ， 计 算 
它 的 各 阶 和 矩 ， 这 些 矩 在 分 布 方向 上 是 不 变 的 。 令 w =0， 可 得 到 主轴 。 
归 一 化 后 标准 矩 定义 如 下 : 
(RMT) ，= py > 加 NE 1) "(cos0) "(sing) ,0 (6-34) 
天 关怀 二 三 全 F 可 
6.1.2.2 Hu 矩 的 构造 
事实 上 ， 几 何 矩 M, 并 不 具有 不 变性 ; 图 像 的 中 心 矩 w。 仅 具有 平移 的 不 变 


性 ， 归 一 化 中 心 矩 有 多 种 构造 方式 。 
方式 一 为 





和 从 
(120 + Kos 





Npg 
男 一 种 方式 为 


) rr p+q=2,3.… (6-35) 


Mpg 
Wp = p+g=2,3.… (6-36) 
(p00)" 0 


归 一 化 的 中 心 矩 ,具有 平移 和 比例 不 变性 ， 但 不 具有 旋转 不 变性 。 针 对 这 
一 问题 ，Hu 在 1961 年 给 出 了 七 个 不 变 矩 特征 量 ， 并 证 明了 它们 具有 平移 、 比 
例 不 变性 和 旋转 不 变性 的 性 质 。 七 个 不 变 矩 多 项 式 表达 式 为 





1 = m0 + Mo (6-37) 

M, = (m0 -mo ) +4m (6-38) 
Ms= (0-372) +(372 一 0) (6-39) 
Mi = (m0 +392) + (m2 + mo)" (6-40) 
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Ms = (Tao 302) M0 +n) Emo tI) -3(72 +t) ] + (6-41) 
(372 — M08) Wor + N03) [L330 + I) — (m2 + 03) ] 
Me= (m0 -m0) [m0+72) -NM tn03) | +4nn Cn + m0) (M30 + 12) 
(6-42) 
Mi =(372 = Mo) Mao + M2) EN tI2) 3m + 0) ] + (6-43) 


(m30 —3n12) (nm + 1703) [3( ns +72)” — (a + 7103) ] 
由 于 七 个 不 变 矩 值 的 变化 范围 很 大 ,为 了 便于 比较 ， 可 利用 取 对 数 的 方法 





进行 数据 压缩 。 因 此 ， 实 际 采用 的 不 变 矩 为 


M, = |log |M, | k=1,2,.,7 (6-44) 
Hu 不 变 矩 的 计算 流程 如 图 6-2 所 示 。 





归 一 化 中 心 距 非 线性 组 合 
图 像 预 处 理 





图 6-2 Hu 不 变 矩 的 计算 流程 





表 6-3 为 对 坦克 图 片 Hu 矩 的 特征 提取 结果 。 
表 6-3 ”坦克 Hu 拢 特征 提取 结果 





人 如 Mi M,; M; Ma Ms Ms M; 
原始 图 像 2.8912 5.9812 9.9958 11.2356 21.8595 14.3698 22. 5653 
旋转 90° 2.8912 5.9812 9.9958 11.2356 21.8595 14.3698 22.5653 
旋转 180° 2.8912 5.9812 9.9958 11.2356 21.8595 14.3698 22.5653 
缩小 一 倍 2.8911 5.9808 9.9942 11.2340 21.8559 14.3661 22.5750 
放大 一 倍 2.8910 5.9807 9.9945 11.2350 21.8579 14.3687 22.5684 
左 移 20% 2.8912 5.9812 9.99584 11.2356 21.8595 14.3698 22.5653 
右 移 20% 2.8912 5.9812 9.99584 11.2356 21.8595 14.3698 22.5653 


由 表 6-3 中 数据 可 知 ， 通 过 对 坦克 图 片 进行 旋转 、 尺 度 和 平移 变换 ，Hu 和 拢 


提取 的 特征 参数 不 发 生变 化 ， 满 足 矩 不 变性 。 
6. 1.2.3 仿 射 不 变 矩 的 构造 





Hu 提出 的 不 变 矩 具有 平移 、 斥 度 和 旋转 不 变性 ， 但 当 由 于 拍摄 角度 不 同 ， 





图 像 出 现 扭曲 等 变形 时 ， 这 三 个 不 变性 并 不 能 满足 要 求 ， 因 此 需要 构造 一 种 目 
标 发 生 扭 明 、 拉 伸 等 仿 射 变换 条 件 下 的 不 变 矩 特征 。 此 特征 能 用 于 不 同 拍摄 角 
度 下 目标 的 识别 。 
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仿 射 变换 是 一 种 典型 的 线性 变换 ， 它 是 通过 不 同 的 线性 变换 进行 构造 的 。 设 


25 第 6 章 目标 特征 提取 方法 


图 像 平面 上 一 点 P 的 坐标 为 (x,，y) 和 对 应 仿 射 变换 坐标 系 中 点 P' 的 坐标 为 
(x'，y’) ， 则 其 二 维 的 仿 射 变换 公式 如 下 : 


% Un Ca || x b 和 
ET 
J C21 QJ)Y b, 


式 中 ，4 =| ”上 是 仿 射 变换 短 昨 。 念 射 变换 估 阵 4 必须 满 呈 非 奇异 性 条 件 ， 


21 (2 


即 dt( 4) z0。 5 =| | 是 T 移 量 ， 在 二 维 乱 阵 空 间 中 ， 知 阵 4 可 以 按 折 出、 介 
缩 、 尺 度 、 施 续 等 进行 构造。 


尺度 变换 模型 为 
帮 ,| me (6-46) 
伸缩 变换 模型 为 
A 到 | (6-47) 
" |0 mw - 
扭曲 变换 模型 为 
LL 
| | (6-48) 
旋转 变换 模型 为 


_ cosO —sing 
9 |sing cos 


因此 ， 和 拢 阵 4 可 表示 为 


A=A,A,A,A, = | po 
尺度 、 平 移 、 伸 缩 、 旋 转 和 扭曲 五 个 变换 是 仿 射 变换 中 的 特例 。 
由 仿 射 变换 模型 可 知 ， 如 果 一 个 特征 量 ， 在 尺度 、 平 移 、 伸 缩 、 旋 转 和 扭 
曲 变换 条 件 下 仍然 不 发 生变 换 ， 那 么 我 们 就 认为 该 特征 量 是 仿 射 不 变量 。 
设 图 像 fx，y) 仿 射 变换 后 的 图 像 为 f(x，y) ， 则 仿 射 变换 后 图 像 的 重心 


变 为 
加 | (651 
yj La C22 > " 
把 式 (6-45) 与 式 (6-51) 相 减 ,得 
be | (6-52) 
ey Qa QLY -YY 


平移 参数 b, 、b, 被 抵消 掉 。 


| 0<0<27 (6-49) 


(6-50) 


Ocosm niGcosm 一 i 
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由 前 面 的 内 容 可 知 ， 归 一 化 中 心 具 有 比例 、 平 移 和 旋转 不 变性 。 若 利用 归 
一 化 中 心 矩 来 构造 仿 射 不 变 矩 ， 只 需要 满足 扭曲 和 拉 伸 不 变性 ， 就 可 达到 仿 射 
变换 不 变性 。 我 们 可 以 构造 中 心 矩 多 项 式 ， 来 抵消 仿 射 变换 矩阵 4， 就 可 满足 党 
用 的 仿 射 不 变性 。 构 造 多 项 式 的 方法 有 配 极 多 项 式 、Hankel 行列 式 、 多 项 式 判 
别 式 等 方法 。 本 章 采 用 Jan Flusser 等 人 构造 的 6 个 仿 射 不 变 矩 ， 作 为 目标 图 像 的 
特征 不 变量 ， 进 行 目标 识别 。 





1 = (AUoouo -An ) Mo (6-53 ) 
b= (p30p0s — 13003ta tn + 4Uoa2i 二 4 ) [No (6-54) 
b= (pppos -AD) -An (Un -Up ) tH (Wats -Ai) /10 (6-55) 
= (p00 ~ 1200 tap0s -612052 tos 十 920UosND + 12p6200T1 Ha Mos + 
6100 Wopesobos - 18a0p 1 Vota te — Bpnipostso — 20M0s soM12 + 


propo 再 12p1p05 W301 (TT + Wore30 ) /uoo (6-56) 
万 = (UsoUos -Mspa + 3 ) /poo (6-57) 
16 = (oats + 3H Mal — Woe3i —Maolts 一 2 ) /Moo (6-58) 


仿 射 不 变 矩 的 计算 流程 如 图 6-3 所 示 。 










计算 几何 逢 非 线 性 组 合 


TbBhlsl 


图 6-3 仿 射 不 变 矩 的 计算 流程 





表 6-4 为 坦克 图 片 仿 射 不 变 矩 提取 结果 。 
表 6-4 ”坦克 图 片 仿 射 不 变 矩 的 特征 提取 结果 
抵 














本 太 加 万 L I 万 
原始 图 像 6. 7827 21. 6081 14. 8189 20. 1820 12. 3744 19. 8410 
旋转 90。 6. 7081 20. 3604 14. 4650 19. 9798 12. 2705 19. 5925 
旋转 180° 6. 7827 21. 6081 14. 8189 20. 1820 12. 3744 19. 8410 
缩小 一 信 6.7826 21. 6152 14. 8079 20. 1798 12. 3737 19. 8403 
放大 一 倍 6. 7824 21. 6130 14. 8063 20. 1792 12. 3731 19. 8393 
左 移 20% 5.7491 15. 8991 12. 7326 16. 6104 10. 3175 15. 7908 
右 移 20% 5. 6145 15. 0651 11. 9479 16. 4614 10. 2095 15. 3156 
拉 伸 20% 5. 6359 15. 9815 11. 9941 16. 5255 10. 2595 15. 7902 











由 表 6-4 中 数据 可 知 ， 当 对 坦克 图 片 进行 旋转 、 放 缩 变换 时 ， 仿 射 不 变 矩 
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不 发 生变 化 ， 对 图 片 进行 平移 和 拉 伸 变换 时 ， 提 取 的 特征 参数 基本 不 发 生变 化 ， 
满足 矩 不 变性 。 


6. 1.3 共生 和 矩阵 


纹理 反映 的 是 图 像 的 空间 分 布 、 灰 度 统计 和 结构 信息 。 它 是 由 一 定 大 小 和 
形状 的 像素 集合 组 成 的 ， 是 所 有 图 像 都 具有 的 特性 。 纹 理 特征 提取 是 指 通 过 检 
测算 法 ,检测 出 纹理 基 元 并 建立 纹理 模型 ， 最终 用 特征 量 来 描述 。 灰 度 共 生 和 矩 
阵 是 典型 的 纹理 特征 提取 方法 。 它 由 两 个 位 置 像素 的 联合 概率 密度 来 定义 ， 反 
映像 素 亮度 特 性 及 其 像素 之 间 位 置 关系 。 

共生 和 矩 阵 表示 像素 空间 的 关系 和 依赖 程度 。 设 灰 度 共生 矩 阵 中 某 一 元 素 (i, 让 
的 灰 度 值 为 i， 男 一 个 元 素 的 灰 度 值 为 j， 它 们 之 间 的 距离 为 4， 方 向 为 9， 那么 
共生 矩阵 的 值 就 是 满足 以 上 条 件 像素 的 个 数 。 实 际 中 ,9 一 般 选 为 0" 、45°、 
90° 、135°。 图 像 的 灰 度 级 一 般 为 256， 实 际 计算 中 远 小 于 它 。 因 为 若 矩 阵 维 数 
过 大 ,窗口 较 小 ， 那 么 共生 和 矩阵 表示 纹理 的 效果 不 好 。 若 窗口 较 大 ， 维 数 小 ， 
这 样 大 大 增加 计算 量 ， 降 低 了 实时 性 。 所 以 在 计算 时 ， 首 先 需要 降低 维 数 或 减 
小 灰 度 级 。 

设 数 字 图 像 凡 xz，y) 的 大 小 为 MxN， 灰 度 级 为 W,， 则 灰 度 共生 矩阵 为 

P(C7) =#| (zy (2) EMXN f(x ,71) =if(xy,y) =j| (6-59) 
式 中 ,，#(x) 表示 集合 % 中 的 元 素 个 数 ， 显 然 了 为 N, xNN, 的 矩阵 , 和 若 (2 ,1) 与 
(x,，Yy,) 间距 离 为 4， 并 与 模 轴 的 夹 角 为 G9，， 则 可 得 任何 间距 和 角度 的 共生 矩阵 
P(i, j, d，0)。 图 6-4 为 四 个 不 同方 向 上 的 共生 矩阵 示意 岁 。 


Ly 


OOO |), 
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a) 0-0” b) 0=90° 
L | 
d d 








1 ' 
C) O45° d) 0=135° 


图 6-4 四 个 不 同方 向 上 的 共生 和 矩阵 示意 图 
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纹理 特征 提取 是 以 灰 度 级 的 空间 相关 和 矩阵 为 基础 ， 这 是 因为 灰 度 共生 矩阵 
表示 了 图 像 中 相距 (Ax，Ay) 的 两 个 像素 同时 出 现 的 联合 频率 分 布 。 若 图 像 灰 
度 级 为 N， 那 么 共生 和 矩阵 为 N xN 矩阵， 可 表示 为 M(h,， 有 ) ， 其 中 位 于 (h,) 
的 元 素 1 的 值 表示 两 个 灰 度 分 别 为 六 和 天、 相距 为 (Ax，Ay) 的 像素 对 的 出 现 

为 了 使 共生 算 阵 能 更 直观 描述 纹理 ， 用 一 些 统计 参数 来 表述 纹理 状况 ， 常 
用 的 有 : 

(1) 角 二 阶 和 矩 





= 5 Er) (6-60) 
角 二 阶 算是 图 像 灰 度 分 布 均匀 性 的 度量 。 当 共生 矩阵 中 的 元 素 分 布 比较 集 
中 于 主 对 角 线 时 ， 说 明 从 局 部 区 域 观察 图 像 的 灰 度 分 布 是 均匀 的 ， 从 式 (6-60) 
可 知 ， 它 是 共生 和 矩阵 中 所 有 像素 值 的 平方 和 ， 也 可 称 为 能 量 。 从 整个 图 像 来 看 ， 
人 能 量 越 多 ; 反之 亦 然 。 
(2) 惯性 矩 








f= EE liilpi) (6-61) 
若 纹 理 较 粗 , p(i, 让 的 值 主要 集中 在 主 对 角 线 的 附近 ， 这 时 站 0 
较 小 ， 因 此 惯性 和 矩 也 小 ; 而 纹理 较 细 ,p(i, 7) 数值 的 分 布 较 均匀 ， 人 异性 和 矩 比 
较 大 。 
(3) 对 比 度 


0) | (6-62) 


式 中 ， i —j| 三 17o 

图 像 的 对 比 度 可 以 理解 为 图 像 的 清晰 度 ， 即 纹理 的 清晰 程度 。 图 像 中 纹理 
的 沟 纹 越 深 ， 则 其 对 比 度 访 越 大 ， 图 像 越 清 晰 。 反 之 ， 对 比 度 小 ， 则 沟 纹 浅 ， 
效果 也 较 模 糊 。 











(4) 相关 
了 -1 了 工 -1 
> Diip(is) -ww 
fa 加 0 -| (6-63) 
010 
式 中 ， 
L-1 L-l L-1 工 -1 


m= DE = DB) 


J 


=- Du) Boi), 03 = = DU-w) Eni) 


=0 
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相关 是 用 来 衡量 灰 度 共生 和 矩阵 的 元 素 在 行 的 方向 或 列 的 方向 的 相似 程度 。 
例如 ， 某 图 像 具有 水 平方 向 的 纹理 ， 则 图 像 在 0 =0° 的 灰 度 共生 和 矩阵 的 相关 值 往 
往 大 于 909=45°*%、0=135° 或 96=90° 的 灰 度 共生 矩阵 的 相关 值 。 相 关 值 的 大 小 反映 
的 是 局 部 灰 度 的 相关 性 。 若 矩阵 中 元 素 的 值 均 匀 相 等 ， 相 关 值 就 大 ; 若 和 矩阵 中 
元 素 值 相差 很 大 ， 则 相关 值 较 小 。 
(5) 箭 
f= > Enlilogp(i) Mo 
炉 值 是 对 图 像 中 信息 量 的 度量 ， 纹理 属于 图 像 信息 。 若 图 像 没有 纹理 ， 则 
炉 值 几乎 为 零 。 如 果 图 像 有 很 多 细 纹 理 ， 并 且 p(i, 7) 的 数值 比较 接近 ， 那 么 该 
图 像 箭 值 将 达到 最 大 。 反 之 亦 然 。 











(6) 方差 
fo = 三 互 Co (6-65) 
式 中 , wu 为 p (i, j) 的 均值 。 
(7) 和 方差 
,= 这 过 > (k—f)p(i,) (6-66) 


方差 、 和 方差 反映 了 纹理 的 周期 大 小 ， 它们 的 值 越 大 ， 表 明 纹 理 的 周期 
越 大 。 
(8) 逆差 矩 





=] 


TM (6-67) 
有 


逆差 矩 又 称 为 局 部 平稳 ， 它 是 图 像 纹理 局 部 变化 的 度量 ， 反 映 了 纹理 的 规 
则 程度 。 纹 理 越 规则 ， 值 就 越 大 。 反 之 亦 然 。 
(9) 和 平均 








h= > > Bip(i) Bs 
式 中 ， =i+j。 和 平均 是 图 像 区 域内 像素 点 平均 灰 度 什 的 度量 ， 适用 于 灰 度 
图 像 。 
(10) 差 平 均 


上 -1 ZL-1 L-l 


各 = 之 之 之 PC (6-69) 
(11) 差 方差 
- D0- -/)? 5 Bp) (6-70) 








差 方 差 是 邻近 像素 灰 度 值 差异 的 方差 ， 若 像素 对 比 得 越 强 烈 ， 值 越 大 。 
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(12) 差 精 
痪 三 工 写 王 风 交 卫 区 击 (6-71) 
式 直 ,|| 
(13) 箭 
> i > (6-72) 
式 中 ,k=i+j。 


和 炉 、 差 炉 代表 的 意义 参考 信 。 

综 上 所 述 ， 取 不 同 的 9、d 和 灰 度 级 组 合 就 会 生成 不 同 的 共生 和 矩阵， 得 到 的 
特征 参数 值 也 就 不 同 ， 这 样 描述 纹理 的 能 力也 会 有 差异 。 因 此 ， 通 过 分 析 特 征 
参数 ， 可 以 得 到 纹理 的 不 同 描 述 。 


红外 和 可 见 光 图 像 特征 提取 和 融合 











6.2.1 多 传感器 特征 提取 


多 传感器 图 像 融 合 是 多 传 感 需 数据 融合 中 的 一 个 重要 内 容 。 图 像 融 合 是 指 
对 多 个 传感器 同一 时 间 获 取 的 关于 某 一 具体 场景 的 图 像 进 行 特 征 提 取 和 融合 ， 
融合 后 的 特征 更 能 全 面 、 准 确 地 描述 目标 特征 ， 这 是 单一 的 传 感 需 不 可 比拟 的 。 
图 像 融合 的 目的 是 获取 同一 场景 目标 的 更 加 准确 、 全 面 和 可 靠 的 特征 。 

多 传感器 能 够 提供 互补 的 信息 。 利 用 这 些 互补 信息 ， 可 提高 多 传感器 系统 
的 可 靠 性 ， 使 得 对 某 一 传感器 的 依赖 性 降低 。 由 于 实际 应 用 中 ， 环 境 和 和 气候 经 
常 发 生变 化 ， 这 时 我 们 可 以 发 挥 各 个 传 感 带 的 优势 ， 结 合 多 种 传感器 用 于 进行 
目标 检测 和 识别 。 比 如 ， 当 光照 受 雨 、 云 、 雾 、 烟 等 条 件 限 制 或 光照 强度 较 低 
时 ， 可 见 光 传 感 占 很 难 探 测 到 目标 ， 这 时 可 以 利用 具有 和 较 强 穿 透 力 的 毫米 波 雷 
达 进 行 探测 ， 尽 管 图 像 信号 的 衰减 较 严重 ， 但 勉强 可 以 看 到 目标 。 当 环境 和 目 
标的 温差 差别 较 大 时 ， 可 以 利用 红外 传 感 右 的 热 辐 射 特性 来 辨识 目标 ， 而 可 见 
光 传 感 吉 能 获取 包含 丰富 的 形状 和 彩色 等 的 图 像 细 节 信 息 ， 可 以 清楚 地 看 到 目 
标的 精细 特征 。 

村 征 级 的 图 像 融合 指 中 间 层 次 的 融合 方法 。 它 首先 利用 各 个 传感器 的 特点 ， 
分 别提 取出 同一 场景 的 不 同 的 或 相同 的 特征 ， 如 目标 形状 、 轮 廓 、 边 缘 纹 理 等 
典型 的 目标 特征 ， 然 后 利用 某 些 融合 算法 ， 把 这 些 特征 进行 组 合 ， 组 合 特征 能 
更 全 面 、 准 确 地 描述 目标 特征 ， 最 后 对 融合 后 的 特征 进行 目标 分 类 识别 。 特 征 
级 融合 包括 图 像 分 制 、 特 征 提取 和 特征 层 信息 融合 ， 用 于 后 续 的 目标 分 类 识别 
中 。 目前 常用 的 特征 级 的 图 像 融合 方法 主要 有 : 神经 网 络 方法 、Dempster- Shafer 
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推理 方法 、 聚 类 分 析 方 法 、 信 息 粒 方 法 、 贝 叶 斯 佑 计 方法 、 表 决 方法 及 加 权 平 
均 法 。 

可 见 光 传 感 融和 红外 传感器 是 两 种 常用 的 图 像 传 感 融 ， 它 们 的 性 能 和 工作 
机 理 有 很 大 差异 。 红 外 传感器 获取 的 图 像 为 目标 和 场景 的 红外 辐射 特性 ， 记 
录 的 是 背景 与 目标 的 红外 辐射 强度 信息 。 由 于 红外 传感器 反映 的 是 背景 与 目 
标 间 的 热 辐 射 能 量 大 小 ， 一 般 目标 热 辐 射 能 量 强 ， 在 图 像 中 显示 较 亮 ， 因 此 
在 检测 目标 方面 有 很 大 优势 ， 但 其 对 场景 的 亮度 变化 并 不 敏感 ， 成 像 的 清晰 
度 比较 低 ， 不 能 用 于 提取 目标 的 细节 特征 ;可见 光 传 感 顺 对 目标 和 场景 的 反 
射 较 敏 感 ， 能 够 获取 目标 和 场景 的 细节 信息 ， 可 以 用 于 提取 目标 的 细节 纹理 
寺 征 ， 但 对 目标 和 场景 的 热 对 比 度 不 敏感 ， 很 难 获 取 目 标的 空间 位 置 和 结构 
信息 。 

本 章 主 要 研究 了 可 见 光 传感器 和 红外 传 感 融 采集 图 像 的 特征 提取 方法 。 综 
合 利用 红外 图 像 较 好 的 空间 探测 能 力 和 可 见 光 图 像 的 清晰 场景 信息 ， 对 同一 场 
景 的 目标 进行 有 效 的 特征 提取 。 


6.2.2 目标 区 域 分 割 和 检测 


由 红外 和 可 见 光 传 感 右 的 成 像 图 像 特点 可 知 ， 红 外 图 像 具 有 和 较 强 的 目标 位 
置 的 检测 能 力 ， 而 可 见 光 图 像 对 目标 的 细节 信息 把 握 较 强 ， 因 此 ， 可 以 结合 两 
种 传感器 的 优势 ， 对 地 面目 标 进行 检测 和 特征 提取 ， 用 于 分 类 识别 系统 中 。 

首先 ， 利 用 红外 传 感 絮 检测 出 目标 区 域 , 这 里 计算 目标 的 最 小 外 接 和 矩形 ， 
然后 把 目标 区 域 映射 到 可 见 光 图 像 中 ,确定 可 见 光 图 像 的 目标 区 域 ， 再 对 目标 
区 域 分 别 进行 特 征 提 取 ， 由 于 红外 图 像 的 结构 特征 较 明 显 ， 先 对 红外 图 像 进行 
二 值 化 处 理 ， 对 处 理 后 的 图 像 进行 形状 矩 特 征 提 取 ; 对 于 可 见 光 图 像 ， 能 够 很 
好 地 反映 图 像 的 细节 信息 ， 先 对 目标 区 域 进 行 边缘 检测 ， 而 后 对 检测 后 的 图 像 
进行 边缘 特征 提取 。 最 后 对 不 同 传感器 提取 的 特征 进行 特征 融合 ， 利 用 融合 后 
的 特征 进行 目标 分 类 识别 。 具 体 的 框图 如 图 6-5 所 示 。 




































































































































特征 融合 识别 











可 见 光 图 像 目标 区 域 边缘 特征 提取 


图 6-5 红外 和 可 见 光 图 像 特征 融合 示意 图 


6. 2.2.1 红外 图 像 的 区 域 分 割 
从 红外 图 像 的 灰 度 图 中 可 看 出 ， 感 兴趣 目标 区 域 与 背景 中 的 路 面 的 灰 度 相 
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差 不 很 明显 ， 若 采用 简单 的 国 值 分 割 算 法 ， 大 选取 的 国 值 过 低 ， 则 路 面 会 被 看 
成 感 兴趣 目标 而 被 分 割 出 来 ， 不 仅 提高 了 目标 的 虚 警 率 ， 使 后 续 特 征 提取 的 计 
算 量 也 大 大 增加 ; 者 选取 的 阔 值 过 高 ， 则 分 割 后 目标 区 域 过 小 ， 这 样 映 射 到 可 
见 光 图 像 中 ， 目 标的 轮廓 特征 丢失 ， 这 样 提取 的 目标 特征 不 准确 。 

因此 ， 本 音 采 用 区 域 生长 的 图 像 分 割 方 法 对 图 像 中 感 兴趣 区 域 进行 分 割 。 
区 域 生长 法 是 一 种 基于 某 个 或 某 些 区 域 的 串 行 图 像 分 割 技术 ,基本 思想 是 把 具 
有 相似 灰 度 级 像素 集合 在 一 起 构成 目标 区 域 。 首 先 在 要 分 割 的 目标 区 域 找 一 个 
种 子 像素 点 ， 把 该 点 作为 区 域 生长 的 起 点 ， 然 后 按照 一 定 的 规则 ， 把 种 子 像素 
周围 邻 域 中 像素 点 与 种 子 像素 进行 比较 ， 若 相同 或 相近 则 把 该 点 合并 到 种 子 像 
素 所 在 的 区 域 ; 依次 进行 比较 ， 直 到 不 能 找到 满足 条 件 的 像素 点 为 止 。 这 样 就 
得 到 目标 区 域 。 

区 域 生长 法 的 3 个 重要 因素 包括 : 

1) 确定 能 正确 代表 所 和 需 区 域 的 种 子 像素 。 

2) 制定 在 生长 过 程 中 能 将 相 邻 像素 包含 进来 的 准则 。 

3) 指定 让 生长 条 件 停 止 的 条 件 或 规则 。 

种 子 像素 点 选取 可 根据 具体 问题 进行 分 析 而 定 。 由 于 红外 图 像 的 目标 辐射 
较 大 ， 可 以 选择 图 像 中 最 亮 〈 灰 度 级 最 大 ) 的 像素 点 为 种 子 像素 。 生 长 准则 的 
选取 与 具体 问题 本 身 无 关 ， 是 由 所 用 的 图 像 数据 决定 的 。 

本 章 采 用 的 区 域 生 长 法 的 选取 准则 如 下 : 

1) 种 子 像 素 点 的 选取 : 选取 图 像 中 灰 度 最 亮点 作为 种 子 像 素 点 。 为 了 避免 
将 强 背景 噪声 选 为 种 子 像 素 点 ， 在 选 点 之 前 ， 对 原 红 外 图 像 进行 平 请 处 理 。 平 
滑 处 理 选 取 的 模板 为 1M4 140, 1, 0 41, 0, 1} 10，1，011 

2) 生长 准则 的 确定 : 根据 红外 图 像 灰 度 分 布 的 特点 ， 采 用 基于 区 域 灰 度 差 
的 生长 准则 ， 即 在 种 子 像素 点 的 八 邻 域 内 的 像素 ， 按 照 下 式 准则 进行 处 理 : 


















































max(v) d(x,y) 宇 vw 
a ee (6-73) 
式 中 ,d(x, y) 是 种 子 像素 点 八 邻 域内 的 点 ; g(x,，y) 是 分 割 后 的 二 值 化 图 像 ， 
若 d(x,，y) 满足 条 件 ， 即 作为 新 的 种 子 像素 点 进行 区 域 生 长 ，max(v) 为 最 大 
值 ; vw 为 满足 区 域 生长 条 件 的 门限 ， 这 里 选取 : 
wo (6-74) 


实验 发 现 ，m 可 以 在 5 ~8 之 间 任 意 选 择 ， 对 最 终 的 分 割 结果 影响 不 大 。 

3) 生长 方式 的 确定 : 以 像素 作为 基本 单位 逐 行 扫描 进行 操作 。 扫 描 流 程 如 
图 6-6 所 示 。 

采用 区 域 生长 的 图 像 分 割 算法 ， 不 仅 避 免 了 采用 直方 图 统计 国 值 分 割 方法 
需要 复杂 的 处 理 步骤 ， 而 且 还 避免 了 采用 全 局 阀 值 分 割 图 像 时 引入 背景 噪声 的 
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问题 。 这 样 提 取 的 目标 感 兴趣 区 域 更 准确 。 : 
6.2.2.2 可 见 光 图 像 区 域 分 


针对 可 见 光 图 像 难 以 获得 目标 区 域 的 问题 ， | 
本 章 利用 红外 图 像 能 检测 目标 的 优势 ， 利 用 红外 标记 3 
Y 


图 像 确定 目标 区 域 ， 然后 利用 图 像 配 准 ， 将 红外 








图 像 的 目标 区 域 映射 到 可 见 光 图 像 中 的 目标 
区 域 。 

本 音 提 取 的 目标 感 兴趣 区 域 为 红外 分 割 后 目 
标 轮廓 的 最 小 外 接 矩 形 。 最 小 外 接 矩 形 的 确定 方 
法 是 对 二 值 化 后 的 红外 目标 图 像 进 行 扫 描 ， 找 到 
最 左边 和 最 右边 ， 最 上 边 和 最 下 边 的 坐标 ， 这 样 
构成 一 个 矩形 。 为 了 和 避免 目标 的 边缘 模糊 ， 在 宽 
中 分 别 增加 了 5 个 像素 点 。 经 过 区 域 分 割 后 的 可 
见 光 和 红外 图 像 的 感 兴趣 区 域 如 图 6-7 所 示 。 四 




















a) 可 见 光 图 像 


图 6-7 可 见 光 和 红外 图 像 


6. 2.3 ”特征 提取 与 融合 


特征 提取 是 目标 分 类 识别 的 前 提 ， 特 征 提取 的 好 坏 ， 直 接 影响 到 识别 结 
选取 时 应 遵循 的 原则 如 下 : 

1) 在 保证 目标 正确 识别 的 前 提 下 ， 选 取 尽 可 能 少 的 特征 参数 。 

2) 尽量 选取 计算 量 小 ， 准 确 率 高 的 特征 参数 。 

3) 选取 的 特征 量 鲁 棒 性 要 高 ， 即 具有 平移 、 比 例 和 旋转 等 不 变性 。 

4) 特征 量 之 间 的 相关 性 要 尽量 小 。 

在 特征 提取 的 过 程 中 ， 提 取 的 特征 量 是 具有 独立 性 、 可 靠 性 、 数 据 量 少 和 
可 区 别 性 的 特点 ， 这 样 才能 增强 目标 识别 系统 的 可 靠 性 和 准确 性 。 

根据 以 上 原则 ， 可 以 提取 红外 图 像 的 形状 特征 和 可 见 光 图 像 的 边缘 特征 。 
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特征 融合 ， 即 把 从 不 同 传感器 提取 的 特征 ， 通 过 某 种 算法 ， 重 新 组 合成 一 
个 新 的 特征 向 量 ， 新 的 特征 向 量 用 作 后 续 目标 分 类 和 识别 的 判断 依据 。 

村 征 级 融合 算法 可 分 为 两 大 类 : 特征 选择 和 特征 组 合 。 将 所 有 的 特征 量 放 
在 一 起 ， 用 某 种 方法 产生 一 个 新 的 特征 向 量 ， 新 向 量 中 的 元 素 都 是 从 原 向 量 选 
择 得 到 的 ， 称 为 特征 选择 ， 例 如 ， 遗 传 算法 。 将 所 有 向 量 直接 组 合成 新 向 量 ， 
称 为 特征 组 合 ， 例 如 ， 串 行 和 并 行 融 合 策略 。 

(1) 串 行 融合 策略 

设 4 和 B 是 在 样本 模式 空间 0Q 的 两 个 特征 空间 。 对 于 任意 样本 厂 e Q， 相 应 
的 特征 表示 向 量 为 4ea 和 BeB。 串 行 融合 策略 将 这 两 个 特征 表示 向 量 串 成 了 
一 个 大 向 量 y ， 公 式 如 下 : 

a 


由 式 (6-75) 可 知 , 若 w 是 n 维 的 , 8 是 m 维 的 ， 那么 合成 的 同 量 y 为 
(m+n) 维 的 。 因此， 所 有 由 品行 融合 而 成 的 向 量 ， 是 一 个 (m+n) 维 的 新 特 
征 空间 ， 后 续 的 分 类 识别 就 是 在 这 个 新 特征 空间 中 进行 的 。 

(2) 并 行 融合 策略 

设 4 和 B 是 在 样本 模式 空间 0 的 两 个 特征 空间 。 对 于 任意 样本 厂 e 2， 相 应 
的 特征 表示 向 量 为 4ea 和 BeB。 并 行 融 合 策略 将 这 两 个 特征 表示 向 量 合成 了 
一 个 复 向 量 y ,公式 如 下 : 


















































y=a+iB (6-76) 
式 中 ,i 为 虚数 单位 。 需 要 注意 ， 如 果 a 和 8B 维 数 不 一 致 ， 那 么 需要 对 低 维 的 向 
量 补 0。 例如 ,a = (ww，%%， om) ,8B8=(B，B,) ， 则 首先 将 B 变 为 B= (Bp,， 
B;,，0) ,然后 合成 向 量 y = (al +iB6, ，a +iB,，Qs +i0)。 
在 QQ 上 定义 一 个 并 行 融 合 的 特征 空间 C= |a+i8|aeA, BeB)。 显 然 ,， 这 
是 一 个 冯 维 的 复 向 量 空间 ， 其 中 履 = max(dimn4 ，dimB) 。 在 这 个 空间 里 ， 内 积 惠 
定义 为 














(X,Y) =X"Y (6-77) 
式 中 , X，Ye C，H 表示 共 e 转 置 。 
定义 了 以 上 内 积 的 复 向 量 空 间 ， 被 称 为 西 空间 。 在 西 空间 可 引入 以 下 范 数 ; 


1zl= V2 = />(e +p) (6-78) 


式 中 ,Z = (al +iB1，Q +jip,，…，oa, +iB,) 。 相 应 地 ， 复 向 量 Z, 和 2, 之 间 的 
距离 可 定义 为 





12, -2,| = (2 -2) (21-2,) (6-79 ) 
并 行 融 合 策略 与 串 行 策略 相 比 ， 降 低 了 融合 后 向 量 的 维 数 。 更 重要 的 是 ， 
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它 引 入 了 本 空间 的 概念 ， 从 而 把 两 个 实 向 量 空间 的 融合 问题 转化 为 一 个 复 向 量 
空间 的 数学 问题 。 

(3) 遗传 算法 

遗传 算法 模仿 了 生物 的 进化 过 程 。 该 算法 将 问题 的 可 能 解 编 成 0O、1 代码 
串 ， 称 为 染色 体 。 若 给 定 一 组 初始 的 染色 体 ， 遗 传 算法 就 会 利用 遗传 算 子 对 其 
进行 操作 ， 产 生 新 一 代 染 色 体 。 新 一 代 染 色 体 可 能 包含 了 较 前 代 更 好 的 解 。 每 
一 条 染色 体 都 要 通过 适应 度 函 数 去 评价 其 适宜 程度 ， 遗传 算 法 的 目标 是 找到 最 
适宜 的 染色 体 。 

遗传 算法 主要 由 四 部 分 组 成 : 遗传 算 子 、 编 码 机 制 、 控 制 参 数 、 适 应 度 

















函数 。 
编码 机 制 是 遗传 算法 的 基础 。 遗 传 算法 不 是 对 研究 对 象 直接 进行 讨论 ， 而 
是 通过 某 种 编码 机 制 把 对 象 统一 赋予 由 特定 符号 按 一 定 顺序 排 成 的 串 。 在 常用 
的 遗传 算法 中 ， 染色体 由 0 与 1 组 成 , 码 为 二 进 制 串 。 对 遗传 算法 的 码 可 以 有 
十 分 广泛 的 理解 。 在 优化 问题 中 ， 一 条 染色 体 对 应 于 一 个 可 能 解 。 

在 遗传 算法 中 ， 用 适应 度 函 数 来 描述 染色 体 的 适宜 程度 ， 即 根据 其 适应 度 
来 评估 染色 体 优 劣 。 

遗传 算法 最 重要 的 算 子 有 选择 、 交 又、 变异。 选择 的 作用 是 根据 染色 体 
的 优 劣 程度 决定 它 在 下 一 代 是 被 淘汰 还 是 被 复制 。 交 叉 算 子 是 让 不 同 的 染色 体 
可 以 进行 信息 交换 。 变 异 算 子 就 是 改变 染色 体 的 某 个 位 置 上 的 值 。 

在 实际 操作 过 程 中 ， 为 提高 选 优 的 效果 ， 需 先 适 当地 确定 某 些 参数 的 取 值 。 
例如 ， 每 一 代 的 群体 大 小 、 交 叉 率 和 变异 率 ， 此 外 还 有 遗传 的 代数 ， 或 其 他 可 
供 确定 中 止 繁殖 的 指标 。 

例如 ， 假 设 a 和 8 分别 表示 某 一 目标 的 两 类 不 同 特征 。 通 过 遗传 算法 ， 可 
以 得 到 融合 的 特征 向 量 y， 表 达 式 如 下 : 

y =f(a,B,%) (6-80) 
式 中 ，x 为 最 优 染 色 体 。x 的 每 一 位 与 特定 位 置 的 特征 成 分 相关 ， 该 位 的 取 值 决 
定 了 这 个 位 置 的 特征 成 分 是 从 a 选择 〈 值 为 1) 还 是 从 B 选 择 ( 值 为 0)。 


本 章 小 结 


随 着 科技 发 展 ， 多 传感器 应 用 越 来 越 多 ， 是 未 来 发 展 的 趋势 。 而 目标 识别 
是 多 传感器 应 用 的 重要 领域 。 特 征 提取 是 目标 识别 的 关键 技术 ， 对 目标 能 和 否 有 
效 识 别 起 决定 性 作用 。 近 年 来 对 单一 传感器 的 特征 进行 提取 ， 已 有 很 多 学 者 在 
研究 ， 并 取得 了 很 大 的 进展 ， 但 是 对 多 种 传感器 进行 特征 提取 和 融合 的 研究 并 
不 多 ， 有 一 些 学 者 和 院 校 刚 开 始 研究 。 本 章 针 对 红外 和 可 见 光 两 种 常用 的 传 感 
器 ， 研 究 了 图 像 目标 的 特征 提取 方法 。 本 章 的 主要 工作 及 创新 点 如 下 。 
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1) 首先 介绍 了 常用 的 特征 提取 方法 ，Hu 和 矩 和 仿 射 不 变 矩 。 针 对 组 合 多 项 
式 包含 见 余 信息 ， 并 且 不 能 有 效 地 提取 目标 的 细节 信息 ,研究 了 Zernike 和 矩 和 小 
波 矩 。 介 绍 了 利用 正 交 性 去 除 宛 余 信息 的 Zernike 矩 ， 这 些 方 法 都 只 能 提取 图 像 
的 全 局 信息 ， 进 而 研究 了 小 波 和 矩 的 特征 提取 方法 ， 利 用 小 波 变换 的 特征 不 仅 能 
提取 图 像 的 全 局 信息 ， 还 能 提取 图 像 的 局 部 信息 。 对 于 这 些 只 能 满足 平移 、 尺 
度 和 旋转 不 变性 ， 不 能 满足 由 于 拍摄 视角 不 同 而 使 采集 的 图 像 有 仿 射 变换 的 问 
题 ， 提 出 了 把 小 波 和 矩 和 放射 不 变 矩 结合 ， 组 成 新 的 特征 向 量 ， 进 行 目 标 特征 提 
取 ， 提 高 了 目标 识别 系统 的 鲁 棒 性 。 

2) 针对 红外 和 可 见 光 的 特点 ， 人 研究 了 红外 图 像 形 状 特征 提取 和 可 见 光 图 像 
的 边缘 特征 提取 。 红 外 传 感 絮 获取 的 图 像 目 标 和 背景 的 差异 明显 ， 讨 论 了 红外 
图 像 的 国 值 分 割 算法 ， 主 要 研究 了 二 值 化 处 理 后 图 像 的 各 种 不 同类 型 目标 的 不 
同 矩 特征 提取 方法 ， 进 行 特征 提取 实验 ， 对 实验 结果 进行 分 析 ; 可 见 光 传 感 带 
能 获取 图 像 目 标的 细节 信息 ， 讨 论 了 可 见 光 图 像 的 边缘 检测 算 子 。 重 点 研究 了 
不 同类 型 目标 的 边 毕 特 征 提 取 方 法 ,分 析 了 共生 矩阵 的 四 个 特征 量 (能 量 、 人 、 
逆差 矩 和 惯性 矩 ) ， 并 进行 特征 提取 仿真 实验 。 还 对 可 见 光 图 像 的 边缘 矩 特征 进 
行 提取 ， 分 析 不 同 矩 特征 提取 的 结果 。 

3) 针对 红外 和 可 见 光 图 像 传感器 的 互补 优势 ， 研 究 了 红外 和 可 见 光 图 像 的 
村 征 提取 和 融合 方法 。 主 要 针对 单一 传感器 对 地 面目 标 特 征 提 取 的 不 稳定 性 问 
题 ， 提 出 了 一 种 基于 感 兴趣 区 域 进 行 特征 提取 的 方法 。 首 先 分 析 红 外 和 可 见 光 
图 像 的 特点 ， 利 用 红外 图 像 的 目标 高 对 比 度 特性 ， 提 取出 图 像 中 的 感 兴趣 区 域 ， 
然后 通过 空间 投影 映射 在 可 见 光 图 像 中 找 出 同样 的 区 域 。 其 次 分 别 对 感 兴趣 区 
域 可 见 光 图 像 进行 边缘 特征 提取 和 红外 图 像 进 行 形状 特征 提取 ， 把 提取 的 特征 
进行 融合 ， 用 于 目标 识别 。 本 章 提 出 的 算法 得 到 的 融合 特征 ,不仅 包含 目标 的 
外 部 形状 特征 ， 还 包括 目标 的 内 部 边缘 特征 ， 得 到 的 目标 特征 更 稳健 ， 对 后 续 
的 目标 分 类 识别 提供 更 好 的 判决 依据 。 
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第 ,7) 章 一 
基于 协 方差 矩阵 多 特征 信息 融合 





特征 信息 融合 在 整个 目标 识别 过 程 中 处 于 一 个 中 间 核 心 位 置 ， 在 获取 了 有 
效 的 目标 特征 数据 之 后 ， 还 需要 对 目标 特征 信息 之 间 的 相关 性 进行 综合 分 析 和 
进行 有 效 的 特征 融合 。 在 查阅 了 众多 融合 算法 之 后 ， 可 以 通过 构造 有 效 的 图 像 
特征 的 协 方差 矩阵 来 对 目标 的 特征 信息 进行 融合 ， 所 以 本 章 采 用 基于 协 方差 矩 
阵 的 特征 信息 融合 方法 。 与 传统 的 串联 特征 信息 融合 相 比 ， 通 过 利用 构造 的 协 
方差 矩阵 可 以 对 不 同 的 特征 信息 数据 进行 融合 可 以 对 获取 的 目标 特征 数据 进行 
降 维 ， 而 且 获 得 的 特征 之 间 的 相关 性 更 小 。 


图 像 特 征 提取 






























































7.1.1 多 传感器 特征 提取 


多 传感器 特征 提取 是 指 通过 目标 识别 系统 外 部 的 各 种 类 型 的 传感器 获取 的 
图 像 数 据 进行 特征 提取 ， 这 样 获 取 的 特征 数据 通过 融合 对 目标 特征 的 信息 描述 
更 准确 、 更 可 靠 、 更 全 面 、 更 有 效 ， 从 而 使 得 最 后 提取 的 目标 特征 受 周 边 环 境 ， 
时 间 和 空间 角度 影响 降 到 最 低 ， 传 统 的 单一 传感器 对 多 传 感 相 比 一 点 优势 都 不 
具备 ， 通 过 多 传感器 目标 特征 提取 就 是 为 了 在 相同 的 环境 能 够 对 目标 进行 更 精 
确 ， 更 可 靠 的 特征 提取 。 
多 传感器 还 有 另外 一 个 好 处 就 是 对 采集 到 的 目标 图 像 信息 能 够 进行 互补 。 
通过 这 些 互 补 的 信息 ,不仅 降 低 了 识别 系统 对 其 中 某 种 传感器 过 度 的 依赖 性 ， 
而 且 由 外 到 内 提高 了 目标 识别 系统 的 性 能 。 在 实际 应 用 中 会 针对 不 同 的 环境 配 
置 不 同 的 组 合 传感器 ， 这 样 能 够 充分 发 挥 各 个 传感器 在 系统 中 的 作用 。 在 图 像 
目标 采集 的 过 程 中 ， 受 环境 的 影响 是 最 为 显著 的 ， 例 如 大 雨 、 大 雾 、 浓 烟 等 情 
况 下 因为 能 见 度 低 ， 如 果 利用 可 见 光 来 采集 图 像 数据 会 比较 困难 ， 但 搭配 雷达 
对 目标 进行 探测 ， 效 果 相 对 于 可 见 光 传 感 右 会 好 很 多 ,虽然 在 采集 过 程 会 有 信 
号 衰减 ， 但 是 在 一 定 程度 上 与 可 见 光 传 感 器 进行 了 信息 互补 。 在 夜晚 或 者 亮度 
比较 低 的 环境 下 ， 此 时 最 好 是 利用 红外 传感器 对 目标 进行 图 像 信 息 采 集 。 因 为 
红外 传感器 主要 是 根据 物体 自身 向 外 辐射 的 能 量 来 获取 目标 的 形状 特征 信息 ， 
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此 时 可 以 获取 目标 的 体型 特征 。 

在 实际 应 用 中 ， 最 常用 的 就 是 可 见 光 传 感 右 和 红外 传感器 。 它 们 对 环境 的 
适应 是 互补 的 ， 利 用 它们 彼此 的 成 像 原理 不 同 ， 可 见 光 传感器 主要 是 在 能 见 度 
正常 或 者 能 见 度 高 的 情况 下 效果 比较 好 ， 获 取 的 目标 图 像 细节 纹理 比较 清晰 ， 
能 够 帮助 系统 对 其 进行 准确 有 效 的 特征 数据 提取 ， 红 外 传感器 一 般 根 据 目 标 自 
身 向 外 辐射 的 能 量 不 同 对 其 进行 成 像 ， 在 亮度 低 的 环境 下 对 目标 信息 采集 具有 
很 大 的 优势 ， 对 目标 的 外 形 具备 很 好 的 成 像 效 果 ， 但 是 所 获取 的 图 像 不 够 清晰 ， 
根据 上 述 可 知 它们 在 现实 应 用 中 是 最 理想 的 组 合 搭配 。 此 时 如 果 想 要 获取 目标 
相应 地 理 信息 ， 可 以 通过 GPS 对 其 进行 定位 ， 来 获取 其 精确 的 经 纬度 信息 ， 这 
就 是 利用 多 传感器 特征 提取 的 巨大 优势 ， 即 人 全面， 精确， 不 受 时 空 限制 。 


7.1.2 灰 度 特征 


利用 系统 外 部 传感器 采集 到 的 图 像 都 为 彩色 图 像 ， 一 般 情 况 下 图 像 的 色彩 
都 是 由 红 (R)、 绿 (G) 、 蓝 〈B) 三 种 颜色 组 合 而 成 ， 它 们 是 我 们 人 有 眼 所 能 感 
知 到 的 颜色 ， 也 是 目前 应 用 比较 广泛 的 原因 。 而 我 们 所 需要 的 灰 度 特征 就 是 将 
图 像 中 的 像素 用 其 中 其 一 单 色 形成 灰 度 图 ， 然 后 再 对 其 进行 灰 度 特征 提取 。 因 
为 彩 图 和 灰 度 图 都 能 客观 真实 地 反映 图 像 中 的 目标 信息 ， 而 且 通 过 对 灰 度 图 的 
村 征 提取 可 以 减少 相应 的 特征 数 ， 从 而 帮助 我 们 降低 计算 量 来 提高 效率 。 在 转 
换 的 过 程 中 ， 并 不 会 因为 灰 度 化 了 就 降低 了 图 像 的 亮度 ， 亮 度 只 是 人 眼 视觉 对 
颜色 的 一 种 敏感 度 ， 所 以 对 彩 图 进行 灰 度 化 不 会 影响 对 目标 特征 提取 的 有 效 性 。 
在 灰 度 转换 的 过 程 中 ， 一 般 通 过 颜色 空间 转换 将 源 图 像 从 空间 RGB 转化 到 
空间 YCbCr， 在 空间 YCbCr 中 用 Y 分 量 来 表示 图 像 的 灰 度 ， 其 实 它 也 是 图 像 的 
亮度 信息 ， 其 中 的 Cb 分 量 和 Cr 分 量 表示 转换 后 灰 度 图 像 的 色 度 信息 。 下 面 是 
RGB 转 YCbcr 的 转换 公式 : 
Y =0. 299R +0. 587G +0. 114B 
Cb = -0.172R -0.339G +0.511B +128 [3 
Cr=0.511R -0.428G -0.083B +128 
根据 上 述 转换 公式 可 知 最 后 的 灰 度 转换 公式 如 下 : 
Gray =0. 229R +0. 587G +0. 114B (7-2) 


7.1.3 空间 信息 特征 


在 理论 运用 过 程 中 ,简单 的 利用 数学 中 的 统计 特性 来 对 目标 特征 进行 描述 
是 不 够 全 面 的 ， 这 样 处 理 导致 的 结果 就 是 没有 足够 高 的 准确 率 。 根 据 统 计 特性 
对 目标 特性 描述 的 不 足 ， 可 以 在 融合 的 过 程 中 添加 相应 的 空间 位 置信 息 ， 这 样 
对 目标 的 特征 信息 描述 会 更 准确 ， 由 于 上 述 要 对 传感器 采集 的 图 像 进行 灰 度 化 
处 理 ， 对 灰 度 后 图 像 其 像素 是 单一 的 ， 所 以 在 本 章 中 ， 将 使 用 距离 d(x,y)， 即 
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图 像 中 的 像素 点 与 在 整个 图 像 的 中 心 区 域 的 距离 ， 利 用 这 样 的 距离 来 作为 我 们 
所 要 的 空间 位 置信 息 ， 加 入 到 特征 信息 融合 中 去 ， 其 可 以 表示 为 
d(x,y) = Vx +y (zy ) = (x -ao 一 Jo) (7-3) 
在 式 (7-3) 中 , 我 们 用 (x'，y') 来 表示 图 像 中 任意 一 个 像素 点 ,而 (x,，y) 
则 表示 图 像 中 的 中 心 区 域 坐 标点 。 在 本 章 中 不 考虑 像素 点 与 图 像 中 目标 中 的 方 
向 角 ， 通 过 对 目标 的 长 和 宽 进 行 归 一 化 处 理 ， 从 而 获取 的 目标 特征 是 与 目标 的 
尺寸 不 相关 的 。 


7.1.4 梯度 信息 特征 


梯度 特征 是 图 像 的 基本 特征 之 一 ， 它 主要 是 体现 目标 图 像 中 的 边缘 信息 ， 
并 且 它 具有 对 光 不 敏感 的 特性 。 在 对 图 像 的 边缘 进行 检测 时 ， 首 先 会 检测 像素 
点 八 邻 域 灰 度 变化 。 通 过 数学 公式 推导 可 知 ， 一 般 情况 下 梯度 算 子 就 是 通过 对 
图 像 进行 一 阶 求 导 即 可 ， 但 是 当 我 们 想 对 一 个 二 维 图 像 求 梯度 算 子 时 ， 这 时 我 
们 对 图 像 求 导 时 会 存在 方向 性 。 一 般 都 是 从 简单 到 复杂 ， 所 以 方向 可 定 为 x 方 
向 和 yy 方向 这 两 个 方向 梯度 特征 。 一 般 我 们 通常 使 用 的 梯度 算 子 有 Sobel 算 子 、 
Canny 算 子 和 拉 普 拉 斯 算 子 等 。 
假设 图 像 中 的 像素 可 以 用 p; ,来 表示 ， 如 果 使 用 上 述 常 用 的 Sobel 算 子 来 作 
为 梯度 算 子 ， 则 其 提取 的 梯度 信息 向 量 可 以 表示 为 
V;; = {dx;;,dy;;} (7-4) 
梯度 信息 向 量 中 的 dx; ;和 dy; ,分 两 个 梯度 方向 来 表示 ， 即 如 图 7-1 中 的 水 平 
梯度 方向 G, 和 垂直 梯度 方向 6,。 















































一 -2 | -1 -1 0 1 
0 0 0 -2 0 2 
1 2 1 -1 | 0 1 

















a) 垂直 G, 方 向 b) 水 平 G 方 向 
图 7-1 Sobel 算 子 
然后 我 们 通过 上 述 的 算 子 进行 相应 的 卷 积 运算 ， 这 样 就 能 够 获取 Sobel 算 子 
在 水 平方 向 和 垂直 方向 上 对 应 的 梯度 值 。 
&% 方向 梯度 幅度 值 : 
Af.(x,9) = {f(x +1,y -1) +f(x +1,y+1) +2f(x +1,y)}-— (7-5) 
{f(x -1,y-1) +f/(x -1,y-1) +2/(x -1,y)} 
y 方 向 梯度 幅度 值 : 
Af, (x,y) = {f(x—-1,y+1) +f(x+1,y+1) +2f(x,y+)}-— (7-6) 
{f(x -1,y-1) +f/(x+1,y -1) +2/(x,y -1)} 
zy) = VAf (x,y)) + (Af (x,y)) (7-7) 
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协 方差 矩阵 的 构造 








7.2.1 协 方差 矩阵 与 协 方 差 


存在 一 组 随机 变量 为 X ，X,，…， XX,， 假 设 能 够 通过 将 上 述 的 随机 变量 来 随 
机 地 组 成 一 组 随机 的 向 量 和 = [ 铸 ，X,，…,X,]'， 在 这 组 由 随机 变量 构成 的 向 量 
中 ,假设 其 中 每 个 变量 都 有 m 个 有 效 样本 ， 这 样 就 可 以 得 到 相应 的 样本 矩阵. 
M= [ao oa ] = [BB,,…,B,] (7-8) 
在 式 (7-8) 中 可 以 用 和 矩阵 参数 6，(j =1，2，…，m) 来 表示 每 个 随机 向 量 
中 的 样本 向 量 ， 随 机 变量 中 样本 所 构成 向 量 用 ga，(i =1，2，…，n) 来 表示 。 
根据 上 述 的 随机 变量 X,、X,， 可 以 将 它们 两 者 之 间 的 协 方差 表示 为 
cy = EI[X,— E(X,)][X, - E(X,)]| (7-9) 
通过 已 经 给 出 的 样本 值 ， 这 样 就 能 对 它们 的 协 方差 进行 有 效 的 估计 ， 得 到 
的 估计 值 如 下 : 











(or Lom) Lm)] Or) 
对 式 (7-10) 进一步 进行 化 简 为 | 


1 m 1 m 
Cy 一 元 之 Mol 本 = 2 M, > Mi 
| DM au=1 b=1 (7-11) 
1 ~ 1 m m 
全 本 ， 05 一 Dp 


此 时 ， 我 们 所 需要 的 协 方差 矩阵 就 能 够 表示 如 下 ; 





] 一 T 一 ] 一 T 一 1 
二 ai CD pa Qa -MM 
Cu CD ”Cn ] 1 1 
a 
Ca cp Cn | A -元 之 刀 SM 本 oa -去 和 Zh, 
C1 Co ce 
J -YM ym J = 二 而 M 
Lm 1 | 和 16 m m2 = pr b 
Sn, 
1 1 l a 忆 
MM | Sm [Ym Tm > ,| 
Sn, 
-a=l1 
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= [A ,Bb, Ba] [B, Bb ,四 -二 [8 + 局 te +B,,] 


下 
加 > [B, -po] [6, -By (7-12) 


式 中 ,B= 二 [BB +B,+… +B,]， 由 式 (7-12) 可 对 其 进行 进一步 化 简 ， 最 后 
我 们 可 以 得 到 相应 的 最 简 式 ， 即 我 们 所 需要 的 协 方差 矩阵 的 表达 式 。 
如 果 其 所 有 样本 存在 平均 值 为 零 向 量 ， 那 么 式 (7-12) 就 能 够 进一步 化 
简 为 
C= BB (7-13) 


根据 上 述 对 协 方 差 和 协 方差 矩阵 的 推导 和 对 其 值 进行 有 效 的 估计 ， 我 们 必 
须 清楚 地 知道 根据 公式 推导 得 到 的 协 方差 的 真实 值 只 是 一 个 估计 值 ， 它 是 依靠 
大 量 的 样本 数据 得 到 的 估计 值 ， 如 果 我 们 的 样本 数据 越 多 ， 样 本 在 整体 中 的 占 
比 就 会 越 大 ， 最 后 获得 的 协 方差 矩阵 束 会 越 可 靠 。 

在 协 方差 矩阵 中 ， 每 个 变量 都 是 随机 向 量 半 分 量 间 不 同 的 协 方 差 .这 里 的 
协 方 差 不 是 样本 之 间 的 协 方差 . 在 协 方差 矩阵 如 果 用 ec 来 表示 矩阵 中 的 元 素 ， 
则 它 代 表 的 就 是 随机 变量 成 与 闷 之 间 的 协 方差 。 我 们 利用 协 方差 主要 是 为 了 对 
变量 间 的 二 阶 统 计 特性 进行 表示 ， 在 随机 变量 中 ， 如 果 它 们 的 不 同 变量 之 间 的 
相关 性 比较 小 ， 那 么 最 终 所 得 到 的 协 方差 矩阵 类 似 于 一 个 对 角 和 矩阵 。 
7.2.2 协 方差 矩阵 距离 的 度量 

在 矩阵 理论 发 展 的 历史 中 ， 如 何 比 较 两 个 矩阵 是 一 个 非常 经 典 的 问题 ， 在 
我 们 传统 的 欧式 空间 运算 中 ， 因 为 协 方差 在 其 运算 中 封闭 性 比较 差 ， 所 以 不 能 
在 传统 的 欧式 空间 中 解决 协 方差 矩 阵 之 间 的 度量 问题 ， 所 以 通过 查阅 了 一 些 文 
献 后 ， 这 里 主要 借鉴 一 种 解决 协 方差 直接 距离 度量 的 方法 ， 如 下 : 



































d(C,C,) = /Sci,c) (7-14) 
在 式 《7-14) 中 ，{A;(Cl，C,)》;-123.…% 古 一 个 特征 方程 ， 它 是 由 C1 和 C, 特 征 值 
组 成 的 ， 其 中 这 些 特征 都 是 正定 矩阵 ， 它 具有 下 面 几 个 特性 : 
1) 正定 性 d(C,，C,) 宇 0， 其 中 等 号 当 且 仪 当 C, = C, 时 才 会 成 立 。 
2) 对 称 性 d(C, C,) =d(C,, C,)。 
3) 三 角 不 等 式 d(Ci, C,) +d(C,, C;)zd(C,, C;)。 
根据 式 (7-14)， 这 里 存在 式 (7-15): 
det(AC, ~- C,) =0 (7-15) 
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通过 式 (7-15) 再 对 其 进行 有 效 的 简化 推导 可 得 下 式 : 
AC-C = VCOE-AWC CC ) VO (7-16) 
因为 C, 和 C, 都 属于 正定 和 矩阵， 所 以 在 式 (7-16) 中 VC，Cs VC， 的 特征 值 
都 是 正定 数 。 所 以 可 以 通过 利用 雅克 比 过 关 法 来 对 式 (7-16) 解 得 特征 值 ， 其 
中 最 关键 的 是 需要 将 和 A,(C,，C,)，…，A,(Cl，C,) 通过 转换 为 正定 实 和 矩阵 来 
进行 计算 ,这样 最 终 才能 正确 且 更 少 计算 量 地 求 得 特征 值 。 
图 7-2 是 协 方差 矩阵 的 一 个 构造 流程 图 。 


多 传感器 图 
像 采集 


空间 信息 求 灰 度 特征 
a y= GD2= xoy yo) Gray=0.229R+0.587G+0.114B 



























1 2 Cll C12 … CIn 
(二 二 
/ 7 和 4 一 | C21 Co22 … Cn 
£1 
Cnl Cn2 Can 


图 7-2 协 方差 矩阵 的 构造 流程 


7.2.3 特征 协 方差 


假如 通过 外 部 传感器 获得 的 图 像 1 为 二 维 数字 图 像 ， 此 时 可 以 假设 目标 在 该 
图 像 区 域 及 中 的 大 小 为 x N， 那么 接 下 来 在 区 域 R 内 特征 点 就 能 够 用 特征 向 量 
fj) ，， 来 表示 ， 其 中 呈 代 表 在 区 域 尺 中 的 特征 点 数 ， 在 特征 向 量 中 ， 它 的 
变量 种 类 信息 很 多 ， 不 仅 能 够 用 图 像 中 像素 的 亮度 、 纹 理 、 梯 度 ， 而 且 还 能 用 
一 些 滤波 器 对 图 像 中 像素 的 响应 值 来 表示 。 根 据 上 述 假设 的 目标 区 域 R， 它 的 协 
方差 矩阵 0 能够 通过 使 用 一 个 大 小 为 4 xd 矩阵 对 其 定义 : 
= i 


n= rat 











式 中 KK 三 -> Zk o 

利用 协 方差 矩阵 的 好 处 就 是 它 不 仅 可 以 充分 地 将 图 像 区 域 中 的 有 效 目 标 特 
征 信息 进行 融合 ， 其 他 的 还 能 将 一 些 图 像 中 的 表象 特征 信息 包含 在 其 中 ， 比 如 
图 像 直方 图 的 特性 。 在 上 述 过 程 中 我 们 能 够 知道 协 方差 矩阵 0i 其 实 是 一 个 大 小 
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为 dxd 的 实 对 称 和 矩阵 ， 在 几何 原理 中 也 称 为 正定 矩 阵 ， 我 们 知道 正定 矩阵 的 特 
点 是 在 它 的 两 条 对 角 线 上 的 分 量 都 是 互相 独立 的 图 像 特 征 量 ， 在 和 矩阵 其 他 区 域 
的 值 就 是 代表 与 其 具有 相关 性 关系 的 特征 量 ， 协 方差 矩阵 Qi 之 前 设 它 的 大 小 为 
d xd， 其 中 它 的 大 小 只 跟 我 们 所 获取 的 特征 向 量 的 维 数 d 有 关系 ， 其 他 的 如 目 
标 区 域 都 跟 它 没 有 关系 ， 这 点 是 非常 重要 的 。 通 过 对 协 方差 矩阵 中 多 特征 值 进 
行 平均 值 运算 ， 它 们 中 的 一 些 特征 噪声 就 会 被 滤 除 ， 从 而 使 得 协 方差 矩阵 具有 
很 好 的 鲁 棒 性 。 比 如 在 传感器 对 目标 进行 图 像 信息 采集 时 ， 由 于 受到 外 界 光 照 
强度 的 干扰 ， 会 使 得 获取 的 目标 图 像 颜色 信息 发 生变 化 ， 但 是 这 不 会 影响 到 协 
方差 特征 值 ， 所 以 目标 采集 数据 不 会 受 很 大 的 影响 。 


多 特征 信息 融合 


由 于 在 这 个 识别 系统 中 ， 主 要 利用 的 是 多 传 感 带 进行 图 像 数 据 采集 ， 而 且 
其 中 负责 图 像 信息 采集 的 传 感 吉 主要 为 可 见 光 和 红外 传感器 ， 在 前 面 比 较 详 细 
地 介绍 了 它们 采集 到 的 图 像 的 特点 后 ， 所 以 可 分 两 块 对 图 像 目标 特征 进行 特 
征 提取 ， 通过 上 述 介绍 的 特征 提取 算法 进行 相应 的 特征 提取 ， 然 后 对 图 像 中 
目标 所 在 区 域 中 的 特征 向 量 的 均值 进行 有 效 计算 获取 ， 最 后 通过 式 (7-17)， 
来 对 所 获取 的 目标 特征 向 量 进行 融合 ， 得 到 我 们 所 需要 的 多 特征 信息 融合 协 
方差 矩阵 。 


融合 实验 结果 与 分 析 


上 述 详细 地 介绍 了 利用 协 方差 矩阵 多 特征 融合 算法 的 每 个 详细 步骤 公式 ， 
下 面 就 验证 此 算法 的 可 靠 性 和 有 效 性 ， 通 过 对 它 进行 基于 Visual C ++6. 0 编程 
和 具体 图 像 数据 仿真 来 进行 试验 。 在 本 次 仿真 实验 过 程 中 ， 因 为 涉及 的 图 像 数 
据 比 较 多 ， 考 虑 到 复杂 度 和 易 操 作 性 ， 我 们 选取 了 坦克 、 越 野 车 和 直升机 来 作 
为 图 像 目 标 ， 以 下 的 图 片 都 是 通过 识别 系统 外 部 可 见 光 和 红外 传感器 真实 采集 
到 的 图 像 信息 进行 特征 融合 处 理 ， 对 采集 到 的 源 图 片 进 行 预 处 理 去 噪 增强 ， 通 
过 训练 和 建 模 建立 图 像 目标 的 特征 数据 库 ， 在 实验 中 ,考虑 到 数据 非常 大 ， 暂 
时 每 组 200 张 图 片 ， 其 中 可 见 光 和 红外 各 100 张 ， 尺寸 均 为 128 像素 x 128 像 
素 。 在 图 7-3 中 显示 的 就 是 数据 库 中 的 一 些 图 片 ， 其 中 上 面 是 可 见 光 图 片 ， 下 
面 为 红外 图 片 。 

根据 上 述 对 可 见 光 和 红外 图 像 特 征 提 取 可 分 为 八 个 维度 对 目标 特征 进行 提 
取 。 通 过 在 Visual C ++6.0 上 进行 编程 处 理 得 到 了 相应 的 特征 值 ， 见 表 7-1， 它 
是 图 7-3a 的 部 分 特征 值 数 据 。 
通过 对 图 7-4a、b、c、d 进行 不 同方 向 的 旋转 、 侧 翻 和 缩放 的 图 像 协 方差 特 
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PT 户 直 到 ,i 1 :i 刁 骨 
| 县: “< 4 -下 | 加 We 
一 产生 的 的 本 0 
c) 越野 车 


图 7-3 融合 的 部 分 类 别 图 像 








F 值 的 


征 值 测试 。 然 后 求 得 它们 的 特征 协 方差 曲线 图 如 图 7-5 所 示 ， 根 据 图 中 曲线 的 
变化 可 以 看 出 ， 对 于 图 像 中 目标 的 旋转 、 侧 翻 和 适度 缩放 对 其 特 生 


影响 非 


常 小 ， 所 以 能 得 出 特征 协 方差 矩阵 具备 非常 强 的 旋转 不 变性 、 尺 度 不 变性 和 适 














应 鲁 棒 性 的 结论 。 
表 7-1 图 7-3a 中 部 分 图 像 的 特征 值 
可 见 光 图 像 特征 红外 图 像 特征 
A NL 

1 76 57 90 16 3 120 29 0. 17832 
2 79 40 19 7 6 119 38 0. 20463 
3 157 27 31 2 17 57 79 0. 31031 
4 49 6 3 9 4 151 83 0. 40307 
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图 7-4 测试 图 像 





























特征 数 


图 7-5 协 方差 矩阵 特征 值 曲线 


根据 上 面 实验 仿真 数据 可 以 总 结 出 利用 协 方差 矩阵 对 目标 特征 信息 融合 的 
优点 如 下 : 在 公式 计算 和 推导 中 我 们 能 够 清楚 地 知道 ， 协 方差 矩阵 的 大 小 只 和 
我 们 提取 目标 特征 向 量 的 维 数 有 关系 ， 如 果 我 们 想 要 再 对 目标 特征 进行 更 多 的 
过 征 添加 也 只 需要 加 上 相应 的 维 数 就 行 ， 从 而 有 效 地 降低 了 相应 的 计算 量 ; 在 
后 面 对 目 标 图 像 进 行 旋转 、 侧 翻 和 缩放 测试 中 ， 协 方差 矩阵 获得 特征 值 基本 是 
不 变 或 者 相差 非常 小 ， 从 而 从 实验 到 理论 验证 了 协 方差 矩阵 具备 非常 好 的 旋转 
不 变性 、 尺 度 不 变性 和 和 鲁 棒 性 。 


本 章 小 结 


本 章 主要 研究 了 基于 协 方差 矩阵 多 特征 信息 融合 算法 。 在 本 章 主要 介绍 了 
该 算法 中 对 灰 度 化 特征 、 图 像 目标 区 域 的 坐标 、 梯 度 算 子 、 图 像 二 阶 时 和 空间 
位 置信 息 等 目标 特征 提取 方法 ,然后 详细 描述 了 对 协 方差 进行 可 靠 有 效 的 构造 ， 
协 方差 矩阵 的 推导 和 上 距离 度量 等 理论 ， 然 后 通过 协 方差 矩阵 对 目标 多 特征 进行 
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有 效 融 合 ， 最 后 我 们 通过 理论 加 实践 的 方法 对 其 进行 可 行 性 和 有 效 性 验证 ， 实 
验 结果 表明 利用 协 方差 矩阵 能 够 有 效 可 靠 地 对 目标 的 多 特征 进行 融合 处 理 ， 而 
且 还 显示 了 利用 协 方差 矩阵 ， 使 得 提取 的 特征 值 具 有 非常 优异 的 旋转 不 变性 、 


尺度 不 变性 和 和 鲁 棒 性 。 
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第 8) 章 一 一 一 一 一 一 一 一 
基于 主 成 分 分 析 的 特征 融合 方法 





多 元 统计 分 析 是 统计 学 中 一 个 非常 重要 的 分 支 ， 它 主要 研究 客观 事物 中 多 
个 变量 (或 多 个 因素 ) 之 间 相 互 依赖 的 统计 规律 性 。 如 果 每 个 个 体 都 有 多 个 观 
测 数 据 ， 或 者 从 数学 角度 上 说 ， 如 果 观 测 数据 能 表示 为 p 维 欧 氏 空 间 的 点 ， 那 
么 这 样 的 数据 叫 作 多 元 数据 ， 而 分 析 多 元 数据 的 统计 方法 就 叫 作 多 元 统计 分 析 。 
多 元 统计 分 析 可 以 同时 处 理 异 度量 的 多 个 变量 间 的 各 种 关系 ， 能 够 较 好 地 实现 
数据 降 维 旦 损失 很 少 的 原 有 信息 量 。 所 以 某 些 多 元 统计 分 析 方 法 已 经 成 为 数据 
融合 分 析 的 一 种 有 效 工具 。 主 成 分 分 析 是 一 种 从 数据 的 相关 性 人 手 ， 将 多 个 变 
量 通过 线性 变换 以 选 出 少数 重要 变量 的 多 元 统计 分 析 方 法 。 在 本 章 中 ， 我 们 将 
介绍 主 成 分 分 析 原 理 和 方法 ， 论 述 如 何 运用 主 成 分 分 析 方 法 实现 红外 与 可 见 光 
图 像 的 特征 融合 。 


寺 征 提取 





1 
灰 度 共生 和 矩阵 是 建立 在 估计 图 像 的 二 阶 组 合 条 件 概率 密度 函数 基础 上 的 统 
计 方 法 ， 主 要 描述 纹理 基 元 或 局 部 模式 随机 和 空间 统计 特征 ， 以 表示 区 域 的 一 
致 性 及 区 域 间 的 相对 性 。 它 能 反映 出 图 像 灰 度 关 于 方向 、 相 邻 间隔 、 变 化 幅度 
的 综合 信息 ， 是 当前 人 们 公认 的 一 种 重要 的 纹理 分 析 方 法 。 

灰 度 共生 和 矩阵 描述 的 是 在 某 方 向 上 间隔 一 定 距离 的 一 对 像素 点 对 灰 度 出 现 
的 统计 规律 ， 即 从 图 像 灰 度 值 为 i 的 像 元 (x, y) 出 发 ,统计 与 其 距离 为 d、 方 
向 为 9、 灰 度 值 为 j 的 像 元 (x +a, y+65) 同时 出 现 的 概率 p(i，j,，d，0) ， 其 数 
学 表达 为 

pli,j,d,0) ={ [x,y) ,x+a,y +0)] fx,y) =if(x+a,y+b) =j} (8-1) 

式 中 , x =0, 1, 2, …, N,, y=0, 1, 2, *…, N,, ie[0, L-1], je [0, 工 -1]。 
0 为 灰 度 共生 和 矩阵 的 生成 方向 ,通常 取 0°、45° 、90° 、135° 四 个 方向 。N,、\, 分 
别 表示 水 平和 垂直 方向 的 像素 总 值 , 工 为 图 像 的 灰 度 级 。 
以 下 是 一 个 灰 度 共生 和 矩阵 的 生成 例子 。 图 8- 1a 所 示 是 一 个 灰 度 级 为 4 的 图 
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像 。 由 于 图 像 的 灰 度 级 决定 了 共生 和 矩阵 的 大 小 ， 所 以 共生 和 矩阵 为 4 x4 的 矩阵 。 
行 表示 i 的 灰 度 变换 ， 列 表示 j 的 灰 度 变换 。 由 式 (8-1) 可 以 计算 出 d=1 时 
0"、90"、135" 和 45? 的 灰 度 共生 矩阵 Py、P、、Pib、Prw， 如 图 8-1b 所 示 。 























4210 6 1 3 0 4100 
p ?400 ,1 210, _l1220 
H 1 06 11|Y|2 102 lo 241 

0 0 12 0 0 2 0 0 110 


b) 二 1 时 0"、90*、135 和 45。 的 灰 度 共生 矩阵 
图 8-1 图 像 灰 度 值 和 灰 度 共生 和 矩阵 
Haralick 等 人 定义 了 14 个 用 于 纹理 分 析 的 灰 度 共生 和 矩阵 特征 参数 ， 虽 然 这 


14 种 特征 参数 都 能 表达 纹理 的 某 些 特定 信息 ， 但 存在 信息 元 杂 、 重 复 表 述 的 问 
题 。 根 据 各 个 参数 的 意义 ,选用 以 下 四 个 参数 . 





全 已 _ 转 . 


用 旺 
> pij,d,0) (8-2) 
信 
W = Fplisd,0) ogLp(ij,d,0)] (8-3) 
侍 性 和 所 
WW = (i )p(ij,d,0) (8-4) 
局 部 平稳 性 
W, = 2 Tr id) (8-5) 


式 中 , 工 为 图 像 灰 度 级 ， 为 保证 参数 的 旋转 不 变性 ， 取 0°、45°、90° 和 135° 四 个 
方向 参数 的 均值 作为 灰 度 共生 和 矩阵 的 值 。 


8.1.2 Hu 不 变 矩 
概率 密度 分 布 函 数 为 Ax，y) 的 二 维 连 函数 的 (p +q) 阶 几何 矩 定 
义 为 


88 


5 第 8 章 基于 主 成 分 分 析 的 特征 融合 方法 


二 [ | wyf sy) drdy (8-6) 
由 式 (8-6) 可 以 看 出 ，m,, 的 值 是 由 f(x，y) 唯一 确定 的 。 由 于 mw 不 具备 
平移 不 变性 ， 于 是 定义 其 p +g) 阶 中 心 矩 为 


m= [Gay -Ty) drdy (8-7) 
RW Rs p, 9=0, 1, 2, ……o 
00 Moo 


对 于 一 幅 大 小 为 Mx NN 的 数字 图 像 1(x，y) ， 积 分 用 求 和 代 蔡 ， 二 维 (p +g) 
阶 几 何 徐 和 中 心 矩 定义 为 


= (8-8) 
LU = - (ze - 司 ， (y -7) "f(x,y) (8-9) 
式 中 , p, gqg=0, 1, 2,，…，(X%, "7) 为 灰 度 图 像 f(x，y) 的 灰 度 质心 ， 定 义 为 元 
归 一 化 的 中 心 矩 ， 用 刀 表示 ， 定 义 为 
1 = (8-10) 
式 中 ， 
y= +1 Pod (8-11) 


1962 年 ，M. K. Hu 利用 归 一 化 的 三 阶 和 三 阶 中 心算 构造 了 七 个 不 变 矩 ， 它 
们 在 连续 图 像 条 件 下 可 保持 平移 、 缩 放 和 旋转 不 变性 ， 具 体 定义 如 下 : 


中 = 70 + Noo (8-12) 

= (7 一 To ) ”+4 (8-13) 

中 = (7ao -37p) + (3n 一 70) (8-14) 
pa = (00 + 0) + (nm + 03)” (8-15) 


ps = (m0 -37 )(7ao + ECMs0 + 2) -3(72 + m3) ] +(372 -0s) 
(72 + m03) [3(m30 + 12) — (Wa + 0s) ] 
(8-16) 
pe = (m0 — N00) [ns0 + m2) = (Na + m6) | +4m1 (na0 + 2) (ma + 0s) 
(8-17) 
中 =(372 — N03) M30 + I2) ENs0 + m3) -3(072 + 03) |] + (3m2 — 130) 
(ma +mo)[3(7ao + 2) — (mr +7o) ] 
(8-18) 
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几何 特征 


本 章 使 用 的 几何 特征 是 根据 图 像 中 目标 的 几何 特性 、 目 标 与 背景 之 间 的 关 
系 等 来 设计 的 ， 依 据 本 章 需 求 选择 以 下 几 个 稳定 性 较 好 的 特征 量 。 





























复杂 度 : 图 像 中 目标 边界 像素 点 数 与 整个 目标 像素 点 数 的 比值 。 
长 宽 比 : 图 像 中 目标 最 小 外 接 和 矩形 的 长 度 与 宽度 之 比 ， 长 帘 比 可 以 将 较 纤 


细 的 物体 与 方形 或 者 圆 形 区 分 开 来 。 

均值 对 比 度 : 图 像 中 目标 最 小 外 接 矩 形 中 的 灰 度 平均 值 与 图 像 其 余部 分 灰 
度 平 均值 的 比值 。 

紧凑 度 : 图 像 中 整个 目标 像素 点 数 与 最 小 外 接 矩 形 内 的 总 像素 点 数 之 间 的 
比值 。 


主 成 分 分 析 的 定义 


主 成 分 分 析 也 称 主 分 量 分 析 ， 其 研究 可 以 追溯 到 1901 年 ， 由 Pearson 首次 
提出 ， 不 过 当时 只 是 对 非 随机 变量 进行 讨论 。 到 1933 年 ，Hotelling 将 主 成 分 分 
析 的 概念 推广 到 随机 向 量 。Hotelling 对 主 成 分 分 析 的 定义 如 下 : 对 于 一 个 d 维 的 
观察 向 量 序列 {1,}，ne {1，2，…，n}， 主 成 分 分 子 就 是 要 找到 gq 个 正 交 的 主 方 
向 wj, je {1，2,…，g},， 使 得 观察 向 量 序列 {1,} 在 这 g 个 主 方向 张 成 的 子 空间 
上 的 投影 保留 的 方差 最 大 。1972 年 ，K. Fukunaga 在 其 出 版 的 专著 《Introduction 
to Statistical Recognition》 中 系统 地 阐述 主 成 分 分 析 的 理论 与 方法 。 主 成 分 分 析 可 
以 在 损失 很 少 信息 的 前 提 下 ,将 原 有 的 多 个 指标 转化 为 少数 的 几 个 综合 指标 ， 
通常 把 转化 生成 的 综合 指标 称 为 主 成 分 。 其 中 每 个 主 成 分 都 是 原始 指标 的 线性 
组 合 ， 并 且 彼 此 之 间 互 不 相关 ， 这 使 得 主 成 分 比 原始 指标 具有 某 些 更 优越 的 性 
能 。 因 而 ， 在 多 指标 问题 的 研究 中 ， 可 以 只 考虑 少数 的 几 个 主 成 分 ， 这 样 做 不 
仅 不 会 造成 信息 的 过 多 损失 ， 而 且 更 易于 把 握 问 题 的 本 质 ， 并 且 揭 示 事 物 内 部 
变量 之 间 的 规律 性 ， 同 时 使 问题 得 到 简化 ， 提 高 分 析 效 率 。 


8.3.1 主 成 分 分 析 的 基本 原理 


主 成 分 分 析 的 思想 主要 是 运用 统计 学 的 知识 从 一 个 高 维 空间 中 的 大 量 数据 
中 提取 比较 主要 的 特征 ， 形 成 新 的 子 空间 ， 实 现 一 个 从 高 维 空间 到 低 维 空间 的 
转换 ， 从 而 达到 去 除数 据 间 的 元 余 性 和 相关 性 ， 同 时 又 保留 了 原始 数据 中 最 大 
信息 的 目的 。 它 借助 了 一 个 正 交 变换 ， 使 其 分 量 相关 的 原始 随机 向 量 转化 为 其 
分 量 不 相关 的 新 随机 向 量 。 这 在 数学 上 表现 为 将 原始 随机 向 量 的 协 方差 矩阵 变 
换 成 对 角形 阵 ， 在 几何 上 表现 为 将 原 坐 标 系 变换 成 新 的 正 交 坐标 系 ， 使 得 指向 
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样本 点 散布 最 开 的 p 个 正 交 方向 ,然后 对 多 维 变 量 系统 进行 降 维 处 理 ， 使 之 能 
以 一 个 较 高 的 精度 转换 成 低 维 变量 系统 。 下 面 依次 对 主 成 分 分 析 的 数学 原理 和 
几何 原理 进行 阐述 。 


8. 3.2 数学 模型 


根据 方差 最 大 化 原理 ， 用 一 组 新 的 、 线 性 无 关 且 相互 正 交 的 向 量 来 表征 原 
数据 矩阵 的 行 或 者 列 ， et 
疫 有 避 个 料 册 ， 每 个 样品 观测 p 个 指标 ， 这 p 个 指标 构成 的 p 维 向 量 分 别 为 























所 ,元 ，…， 成， 得 到 原始 数据 资料 阵 ; 
XI YX ”YX 
bg 4 和 
| ES fe A (8-19) 
Xnl Xi Nnp 


式 中 , X=| ”|i=1, 2, …, p。 


Xi 
设 数 据 和 矩阵 的 均值 为 ， 协 方差 矩阵 为 >。 将 对 的 p 个 指标 XX ，X，…, XX， 
作 线 性 组 合 ， 形 成 新 的 综合 指标 ， 即 
Fl =anX, +anX, + +anX, 


F, =a,X) + aypX, + + apX, 


(8-20) 
FF = Q1,X + 42,X, 十 …: + QoX, 
简写 成 ; 
F;=aX; ta te +ayX,,i=1,2,. (8-21) 


若 线 性 变换 满足 以 下 约束 : 

1) alai=1, 即 a +0, +…+o =1, 其 中 i=1, 2, …, p。 

2) 下 与 (izj, j=1,，2,，…, p) 互 不 相关 。 

3) 是 X，X,，…, XX, 的 一 切线 性 组 合 (系数 满足 上 述 方程 组 ) 中 方差 
最 大 的 ， 忆 是 与 Fi 不 相关 的 XX ，X,，…，X, 一 切线 性 组 合 中 方差 最 大 的 ，…， 
是 与 ，F，…，F,_1 都 不 相关 的 访 ，X,，…， XY, 一 切线 性 组 合 中 方差 最 
大 的 。 

那么 ， 称 式 (8-20) 为 指标 读 ，X,，…，X, 的 主 成 分 分 析 模 型 ,并 将 
式 (8-20) 确 定 的 综合 指标 F ，f,，…， 厂 ,分 别称 为 原始 指标 的 第 一 ， 第 二 ，… 
第 p 个 主 成 分 。 
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主 成 分 ， 从 代数 学 的 观点 看 就 是 p 个 随机 变量 XX ，X,，…, ,的 一 些 特殊 
的 线性 组 合 ， 而 在 几何 上 这 些 线性 组 合 代 表 以 X，X,，…, X, 构 成 的 坐标 系 经 
过 平移 、 尺 度 伸缩 和 坐标 旋转 产生 的 一 个 新 坐标 系 ， 新 坐标 轴 为 样品 偏差 最 大 
的 方向 (或 者 说 具有 最 大 的 样品 方差 )。 为 了 能 够 更 直观 地 理解 主 成 分 分 析 的 基 
本 思想 ， 下 面 以 最 简单 的 二 元 正 态 变量 来 讨论 主 成 分 分 析 的 几何 意义 ， 所 得 结 
论 可 以 很 容易 地 扩展 到 多 维 的 情况 。 

设 有 个 样品 ， 每 个 样品 有 p 个 观察 变量 ， 记 为 X，X,，…,， 成 ， 它 们 的 
综合 变量 记 为 站 ，F,，…， 中 ,。 当 p =2 时， 由 变量 是 筷 ， 浆 组 成 的 坐标 空间 
中 ,nn 个 样品 散布 的 情况 如 图 8- 2 所 示 。 




















Al A 
人 


一 了 








图 8-2 主 成 分 的 意义 
由 图 可 以 看 出 ，n 个 分 散 的 点 大 致 形成 一 个 椭圆 。 若 在 椭圆 长 轴 方 呵 取 坐标 
轴 FF, ， 在 短 轴 方 向 取 ,， 这 相当 于 将 坐标 轴 按 道 时 针 方 向 旋转 9 角度 ,根据 旋 
转轴 变换 公式 ， 新 老 坐标 之 间 有 如 下 关系 : 





有 =Xcos0 +X,sing 
(8-22) 
F,= 一 ASin0 +X,cos0 
其 矩阵 形式 为 
有 cosb sing [XI 
三 = LAX (8-23 ) 
-Sin0 cos0 | X, 


式 中 ,UV 为 旋转 变换 矩阵， 由 式 (8-23) 可 知 U0 为 正 交 阵 ， 即 满足 [7 = U1， 
U'U=1, 

从 图 8-2 可 看 出 ， 经 过 旋转 后 的 n 个 点 的 波动 (可 用 方差 表示 ) 大 部 分 
可 以 归结 为 在 Ff 轴 上 的 波动 ， 而 在 f, 轴 上 的 波动 较 小 。 当 图 8-2 椭圆 相当 
扁平 的 时 候 ， 那 么 我 们 可 以 只 考虑 已 方向 上 的 波动 ， 而 忽略 ,方向 的 波动 。 
这 样 ， 二 维 就 可 以 降 为 一 维 ， 只 取 第 一 个 综合 变量 即 可 ， 即 椭圆 的 长 轴 。 
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一 般 情 况 下 , 个 变量 组 成 p 维 空间 ,nn 个 样品 就 是 p 维 空间 的 nn 个 点 ， 对 p 
元 正 态 分 布 变 量 来 说 ， 找 主 成 分 的 问题 就 相当 于 找 p 维 空间 中 椭 球 体 的 主轴 





问题 。 
8. 3. 3 主 成 分 的 推导 


在 下 面 推导 主 成 分 的 过 程 中 ， 需 要 用 到 线性 代数 中 的 两 个 定理 : 
定理 一 : 若 4 是 p xp 阶 是 对 称 阵 ， 则 一 定 可 以 找到 正 交 阵 7， 使 
FA， 0 





UAU= 





式 中 ， A， 和 ，…， ,是 4 的 特征 根 。 




















也 


py? 
U1 Ui Uip 
Us U2 U2p 
U=(u ,wu,) = 他 训 
Upl Uy Wt Uyp 








则 实 对 称 4 属于 不 同 特征 根 所 对 应 的 特征 向 量 是 正 交 的 ， 即 
uw =0 二 UVU' = VU=1 
主 成 分 的 推导 过 程 如 下 : 














设 让 = alXX| + a X, +** +a,X,=a'X, 其 中 a= (a, a,,，…， a,)', X 


定理 二 : 若 上 述 和 矩阵 4 的 特征 根 所 对 应 的 单位 特征 向 量 为 wy ，w,，… 
人 
有 


(XX ，X,，…,，,)'， 由 主 成 分 的 定义 可 知 ， 求 取 主 成 分 也 就 是 寻找 XX 的 线性 矣 


数 a 使 相应 的 方差 尽 可 能 的 大 ， 即 使 
Var(a'X) =E(aX-E(aX))(aX-E(aX)) 
=a' F(X-EX)(X-EX)'a 
=a’Sa 
达到 最 大 值 ， 且 a’a =1。 

















设 协 方差 矩阵 区 的 特征 根 为 A 三 A, 三 … 三 和 A, >0， 其 对 应 的 单位 特征 向 量 为 


Ul, U,, » Up o ~ 
U1 Ui Uip 
Us U2 U2p 
U=(u ,Wu,) = 本 。 
Ul Uy Ht Upp 


由 前 面 的 线性 代数 定理 可 知 ,，UUV =UV'U=1, 且 
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因此 
2 玫 p 
a'Sa = 2 Aa'uu’a 2 Ai(oz)(aa) = 2 Ai(a') 
i=1 i=1 i=1 
所 以 


p 
a'Fa<A > (au)” = A(aw) anu)’ = Aa UVU'a = Aa'a = 
i=l1 


而 且 ， 当 a=w 时 ， 有 
Wu =u (Fr) = Dh = hu) = A 
因此 ，a=uw 使 Var(a'X) =a'Sa 达到 最 大 值 ， 且 
Var(ziX) =u Bu = 和 
同 理 
Var(u'X) =A, 
而 且 


p 琉 
cov(uX ,WwX) =u du = 性 [ DPA, (uuu',) ju = > A uu,) Cu) =0,i¥7 
n=1 a=1 


上 述 推 导 过 程 表明 ， 以 3 的 特征 向 量 为 系数 的 线性 组 合 就 是 ，%， 
主 成 分 ， 它 们 彼此 互 不 相关 ， 其 方差 为 的 特征 根 。 

由 于 3 的 特征 根 和 A 宇和 A, 三 … 宇 和 A, >0， 所 以 有 Var (FI) 宇 Var( 忆 
Var( 下 ,) >0。 这 就 是 主 成 分 的 次 序 按照 特征 根 取 值 大 小 顺序 排列 的 原因 。 














(8-24) 


Ai 


(8-25 ) 


(8-26) 


(8-27) 


(8-28) 


(8-29) 
,的 


) 三 … 宇 


在 解决 实际 问题 时 ， 一 般 不 是 取 全 部 的 p 个 主 成 分 ， Ss 的 个 数 是 
一 个 关键 问题 。& 越 小 ， 越 能 降低 数据 维 数 ， 便 于 分 析 ， 同 时 也 能 降低 噪声 。 











是 如 果 上 过 小 ,会 导致 一 些 有 用 的 信息 丢失 ， 累 计 贡 献 率 的 大 小 反映 了 前 个 主 
越 








成 分 代替 原始 变量 时 的 可 靠 性 。 贡 献 率 越 大 ， 可 靠 性 越 大 ;反之 ， 则 可 靠 性 
小 。 因 此 ， 根 据 累计 贡献 率 的 大 小 取 前 大 个 主 成 分 。 称 第 一 主 成 分 的 贡献 率 为 


A Ya ， 由 于 Var( 下 ) =A;， 所 以 A Ya = Var( F1)/ > var(P) 。 因 此 


第 一 主 成 分 的 贡献 率 就 是 第 一 主 成 分 的 方差 占 全 部 方差 > A; 的 比例 。 
大 ， 表 明 第 一 主 成 分 综合 X，X,，…， XX, 信 息 的 能 力 越 强 。 
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前 两 个 主 成 分 的 累计 贡献 率 定义 为 (A，+ A) / > 入 ， 以 此 类 推 ， 前 上 个 主 


成 分 的 累计 贡献 率 为 和,/ > 和， 。 如 果 前 个 主 成 分 的 贡献 率 达 到 85% ， 就 
表明 前 个 主 成 分 中 所 包含 的 信息 和 那 p 个 主 成 分 所 包含 的 几乎 一 样 多 。 取 这 
个 主 成 分 就 可 以 取代 原始 的 那 b 个 主 成 分 ， 于 是 对 p 个 主 成 分 的 次 测量 值 所 组 
成 的 原始 数据 集 ， 就 压缩 为 对 个 主 成 分 的 n 次 测量 值 所 组 成 的 数据 集 ， 这 样 既 
减少 了 变量 的 个 数 ， 又 便于 对 实际 问题 的 分 析 和 研究 。 

值得 指出 的 是 ， 当 协 方差 矩阵 未知 时 ， 可 用 其 估计 值 S， 即 样本 协 方差 矩 


阵 来 代替 。 
设 原 始 数据 资料 阵 为 
Xi xX 人 
bd Xl 2 所， 
xX 1 XX xX 


1 < 本 = 
则 S=(sy) ， 其 中 3 = > (Nar — Ni) (Ka — %;) o 
a=1 


而 相关 系数 矩阵 为 
R= (7Y;) 
Ri Ws 
当 原 始 变量 部， 闷 ，…，, 蕊 标准 化 后 ， 则 
sR= LxxX (8-30) 


在 实际 应 用 时 ， 指 标的 量 纲 往往 不 同 ， 因 此 在 计算 之 前 应 先 消除 量 纲 的 影 
啊 ， 即 将 原始 的 数据 标准 化 。 这 样 一 ne 所 以 一 般 求 R 的 特征 值 和 


特征 向 量 ， 就 不 妨 取 R =X'， 因 为 这 时 的 及 与 二 X'X 只 相差 一 个 系数 。 虽 然 








eg 并 不 影响 主 成 分 的 


求 取 。 
由 主 成 分 分 析 的 定义 和 基本 原理 的 讨论 大 体 已 经 可 以 看 出 进行 主 成 分 分 析 
的 步骤 ， 在 此 概括 如 下 : 
1) 将 原始 观察 数据 组 成 样本 矩阵 并， 每 一 行 代表 一 维 数据 ， 每 一 列 为 一 个 
观察 样本 。 
2) 将 样本 矩阵 下 进行 标准 化 处 理 ， 计 算 其 协 方差 矩阵 3: 
SBS=E(XX’) =E(X-EX)(X-EX)’ 
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3) 计算 协 方差 矩阵 王 的 特征 值 A, 及 相应 的 特征 癌 量 w, i=1, 2,…, p。 
4) 计算 各 主 成 分 的 贡献 率 a, 和 累计 贡献 率 (1) 。 
5) 确定 主 成 分 的 个 数 ， 构 成 特征 空间 。 
通常 情况 下 ，a(5) 取 0.9 ~1 之 间 的 数值 。 将 特征 值 按 贡 献 率 由 大 到 小 的 
顺序 排列 ， 选 取 前 左 个 较 大 特征 值 对 应 的 特征 向 量 ， 构 成 变换 矩阵 已 = (uw， 
ww ，…，W) ， 即 为 特征 空间 。 

将 样本 矩阵 投影 到 这 个 特征 空间 ， 求 出 其 系数 向 量 ， 这 就 是 样本 矩阵 式 的 
主 成 分 , 求 出 融合 后 的 特征 ， 即 FF = UX,, i=1, 2, …, po 


基于 主 成 分 分 析 的 图 像 特征 级 融合 实现 















































8.4.1 目标 特征 的 提取 


对 于 数据 库 中 每 一 组 图 像 ， 提 取 红 外 图 像 目标 的 Hu 不 变 矩 〈7 维 ) 和 几何 特 
征 (4 维 ) ， 可 见 光 图 像 目 标的 灰 度 共生 矩阵 (4 维 ) ， 共 计 15 维特 征 。 然 后 将 这 
些 特征 组 成 特征 向 量 x = (gq ，p，…，95) 。 写 出 样本 矩阵 : X= (zx ，m， 
xy)7， 其 中 向 量 *, 为 第 ;个 图 像 的 特征 向 量 组 成 的 列 向 量 ，N 为 训练 集 样本 个 数 。 


8.4.2 特征 融合 


求 取 标 准 化 后 的 特征 向 量 X = (x/，x;s，…，x%) "的 协 方差 矩阵 C,， 根 据 主 
成 分 分 析 的 原理 ， 对 C, 进 行 特 征 分 解 ， 得 到 特征 值 和 特征 向 量 。 根 据 特 征 值 的 
贡献 率 选 取 前 个 较 大 特征 值 及 其 对 应 的 特征 向 量 。 

设 原 协 方差 矩阵 的 特征 向 量 为 u;,， 则 特征 空间 表示 为 U= (wi, wy,…， wi)。 

将 每 一 幅 样 本 图 像 标准 化 后 的 特征 向 量 投影 到 特征 空间 ， 这 就 是 融合 特征 ， 
BF,=UX,, i=1, 2, …, No 


8.4.3 实验 结果 与 分 析 


为 衡量 本 章 融 合算 法 的 效果 ,使 用 上 述 方法 分 别提 取 红 外 图 像 和 可 见 光 图 
像 的 特征 组 成 特征 向 量 ， 根 据 主 成 分 分 析 的 原理 融合 特征 ， 并 在 Visual C ++6.0 
环境 下 进行 仿真 实验 。 对 图 7-3 预 处 理 后 的 图 像 提取 特征 ,标准化 并 进行 主 成 
分 分 析 特 征 融 合 的 数据 见 表 8-1。 

计算 前 10 个 主 成 分 的 贡献 率 以 及 特征 值 的 累计 贡献 率 ， 计算 结果 见 表 8-2。 
其 中 Ff, 是 “信息 最 多 ”的 指标 ， 称 为 第 一 主 成 分 ; 为 信息 第 二 多 的 指标 ， 称 
为 第 二 主 成 分 ， 以 此 类 推 。 
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表 8-1 图 7-3 特征 提取 、 标 准 化 并 进行 主 成 分 分 析 特 征 融 合 的 数据 












































可 见 光 图 像 特征 红外 图 像 特征 
局 部 平 均值 对 Hu 答 
能 量 炉 性 和 矩 复杂 度 长 宽 比 紧凑 度 
稳 性 RA Ce 特征 
特征 向 量 0. 0929 0.4722 0.0929 0,4722 0.0929 0.4722 0.0929 0.9049 3.0768 8.6392 13.3505 13.3457 26.7719 18. 1633 26. 95: 
标准 化 —0.7427 -1.4728 -0.7427 -1.4728 -0.7427 -1.4728 -0.7427 0.2043 0.0567 -0.3313 -0. 0604 1.6954 1.0844 1.0136 1.288 
融合 特征 1. 6083 1. 8367 —1.5077 0.6800 0.6840 0. 9009 0. 0823 一 0.7187 
表 8-2 前 10 个 主 成 分 的 贡献 率 以 及 特征 值 的 累计 贡献 率 
主 成 分 
PF F, PF, F, Fs 
贡献 率 0. 4978 0. 2069 0. 1428 0.0515 0.0498 
累计 贡献 率 0.4978 0.7047 0. 8475 0. 8990 0.9488 
主 成 分 
Fe pF Fs Fo Fio 
贡献 率 0. 0273 0. 0123 0. 0071 0. 0034 0. 0007 
累计 贡献 率 0. 9761 0. 9884 0. 9955 0. 9989 0. 9996 
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通过 对 主 成 分 分 析 特 征 数据 融合 得 到 的 各 主 成 分 的 贡献 率 ( 见 表 8-2) 及 累 
计 贡 献 率 的 分 析 ( 见 图 8-3 和 图 8-4) 表明 ， 经 过 主 成 分 分 析 特 征 融 合 后 的 特征 
量 大 于 或 等 于 8 维 时 ， 特 征 向 量 的 累计 贡献 率 不 再 发 生变 化 ， 充 分 说 明 主 成 
分 分 析 融 合 后 8 维 向 量 可 以 99. 55% 地 表示 融合 前 15 维特 征 向 量 。 当 贡献 率 设 
为 99% 时 ， 特 征 的 主 成 分 个 数 为 8 个 ， 实现 了 特征 量 的 有 效 降 维 。 

















可 






































1 


bd < 
co 


特征 累计 贡献 率 
总 


0.6 
0.5 
040 2 4 6 8 10 地 14 16 
按 贡 献 率 排序 的 特征 
图 8-3 各 主 成 分 累计 贡献 率 
90 90% 


80% 
70% 
60% 
50% 
40% 


方差 所 占 比 重 (%) 


30% 
0% 

10% 

0% 





图 8-4 各 主 成 分 方差 的 Pareto 
最 后 ,在 Visual C ++6.0 环境 中 分 别 使 用 传统 的 串联 法 和 主 成 分 分 析 方 法 
进行 融合 识别 实验 。 其 中 ， 主 成 分 分 析 方 法 选择 贡献 率 大 于 99% 的 特征 值 为 主 
特征 ， 两 种 方法 使 用 支持 向 量 机 识别 目标 的 识别 率 见 表 8-3。 比 较 分 析 表 8-3 中 
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的 实验 数据 可 以 看 出 ， 传 统 串 联 法 虽然 特征 维 数 多 ， 但 识别 率 相 对 较 低 ， 这 是 
因为 特征 之 间 存 在 宛 余 ， 影 响 了 识别 的 准确 率 ; 而 基于 主 成 分 分 析 的 红外 与 可 
见 光 图 像 特 征 融 合 方法 ， 在 未 降低 目标 识别 率 的 前 提 下 ， 减 少 了 系统 运行 时 间 ， 
改善 了 整个 识别 系统 的 效率 。 

表 8-3 算法 识别 率 比 较 














传统 串联 法 〈15 维特 征 ) 主 成 分 分 析 融 合法 (8 维特 征 ) 
识别 率 (%) 识别 率 (%) 
人 员 目 标 96. 66 95. 55 
汽车 目标 94. 44 95. 55 
坦克 目标 92. 22 92. 22 
机 目标 93. 33 94. 44 


本 章 小 结 


本 音 主 要 研究 了 基于 主 成 分 分 析 的 特征 融合 方法 。 首 先 根 据 红 外 与 可 见 光 
图 像 的 特点 和 算法 的 需求 ,介绍 了 图 像 的 灰 度 共生 和 矩阵 、Hu 不 变 矩 和 几何 特 
征 。 接 着 从 主 成 分 分 析 的 概念 人 手 ， 介 绍 了 算法 的 数学 模型 和 几何 解释 ， 从 协 
方差 矩阵 出 发 给 出 了 主 成 分 推导 过 程 ， 总 结 了 主 成 分 分 析 执 行 的 步 又。 最后， 
结合 主 成 分 分 析 方 法 的 思想 ,根据 红外 与 可 见 光 图 像 特 征 级 融合 的 实际 需求 ， 
将 主 成 分 分 析 引 入 到 特征 融合 中 ， 通 过 实验 对 主 成 分 分 析 方 法 做 出 了 有 的 放 矢 
的 比较 和 评价 。 
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第 四 章 盖 一 一 一 一 一 一 一 
基于 改进 免疫 遗传 的 特征 融合 方法 


在 模式 识别 中 ， 巾 特征 提取 形成 的 原始 特征 空间 往往 维 数 很 高 ， 而 且 特 征 
在 子 空间 的 分 布 是 非 线 性 的 ， 采 用 基于 线性 的 特征 融合 方法 可 能 导致 不 理想 
的 识别 结果 。 这 样 上 自然 想到 对 特征 进行 编码 ， 将 特征 融合 转化 为 组 合 优化 问 
题 ， 可 以 通过 解决 优化 问题 的 方法 获得 最 优 融合 方案 ， 生 成 融合 特征 。 本 章 
正 是 从 这 个 角度 出 发 ， 将 免疫 遗传 算法 应 用 在 红外 与 可 见 光 图 像 特征 级 


融合 。 
遗传 算法 基础 理论 


遗传 算法 起 源 于 20 世纪 60 年 代 末 期 到 70 年 代 初 期 ,是 由 美国 密 葡 根 大 学 
的 Holland 教授 及 其 学 生 提 出 的 。 在 1975 年 出 版 的 著名 专著 《Adaptation in Natu- 
ral and Artificial Systems》 中，Holland 详细 地 阐述 了 遗传 算法 的 基本 理论 和 方法 ， 
提出 了 对 遗传 算法 的 发 展 极为 重要 的 模板 理论 。 同 年 ，De Jong 在 计算 机 上 基于 
遗传 算法 的 思想 进行 了 大 量 的 纯 数 值 优 化 计算 实验 ， 首 次 将 遗传 算法 运用 到 函 
数 优化 。80 年 代 ，Goldberg 在 一 系列 研究 工作 的 基础 上 系统 地 总 结 了 遗传 算法 
的 研究 成 果 ， 完 整地 论述 了 遗传 算法 的 基本 原理 及 应 用 ， 形 成 了 遗传 算法 的 基 
本 框架 。 近 年 来 ， 由 于 遗传 算法 在 求解 复杂 优化 问题 的 巨大 潜力 及 其 在 人 工 
智能 、 自 动 控制 、 生 物 工程 等 各 领域 的 成 功 应 用 ,使 遗传 算法 受到 了 广泛 的 
关注 。 
9.1.1 遗传 算法 概述 


遗传 算法 借鉴 了 达尔 文 的 进化 论 和 孟 德 尔 的 遗传 学 说 ， 模 仿 自然 界 生物 进 
化 机 制 发 展 起 来 的 一 种 随机 全 局 搜索 和 优化 方法 ， 因 而 在 这 个 算法 中 常 涉及 各 
种 生物 进化 和 遗传 学 的 一 些 基 本 概念 ， 如 : 

染色 体 : 个 体 的 表现 性 质 。 在 遗传 学 中 ， 染 色 体 是 生物 细胞 中 含有 的 一 
种 微小 丝 状 化 合 物 。 它 是 遗传 物质 的 主要 载体 ， 由 多 个 遗传 因子 一 一 基因 
组 成 。 
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基因 : 控制 生物 性 状 的 遗传 物质 的 功能 单元 和 结构 单元 ， 又 称 为 遗传 
因子 。 

基因 型 : 它 是 性 状 染 色 体 的 内 部 表现 ， 或 者 说 ， 由 遗传 因子 组 合 的 模型 。 

表现 型 ,由 染色 体 决定 性 状 的 外 部 表现 , 或 者 说 ,根据 遗传 因子 形成 的 个 
体 ， 称 为 表现 型 。 

个 体 : 指 染 色 体 带 有 特征 的 实体 。 
群体 : 由 一 定数 量 的 个 体 组 成 的 集合 。 
适应 度 : 反映 个 体 性 能 的 数量 值 ， 表 示 某 一 个 体 对 生存 环境 的 适应 程度 。 
编码 : 从 表现 型 到 基因 型 的 映射 。 
解码 : 从 基因 型 到 表现 型 的 映射 。 

对 上 述 术语 的 理解 ， 有 助 于 更 好 地 理解 遗传 算法 的 基本 思想 。 遗 传 算法 是 
从 优化 问题 可 能 潜在 解 集 的 一 个 种 群 开 始 ， 而 一 个 种 群 是 由 经 过 基因 编码 的 一 
定数 目的 个 体 组 成 。 产 生 初 始 种 群 后 ， 按 照 适 者 生存 和 优胜 劣 汰 的 原理 ， 经 过 
多 代 繁 衍 ， 产 生出 一 个 越 来 越 好 的 种 群 。 在 每 一 代 ， 由 问题 的 目标 函数 构造 一 
个 适应 度 函 数 ， 根 据 个 体 适 应 度 的 优 劣 选择 一 部 分 优良 个 体 ， 并 对 其 进行 交叉 
和 变异 操作 ， 产 生出 代表 新 解 集合 的 种 群 。 这 个 过 程 将 使 种 群像 自然 进化 一 样 ， 
子 代 种 群 比 父 代 更 加 适应 于 环境 ， 整 个 进化 过 程 中 的 最 优 个 体 经 过 解码 就 可 以 
作为 问题 的 近似 最 优 解 。 


9.1.2 遗传 算法 流程 


遗传 算法 从 任 一 初始 种 群 出 发 ， 通过 随机 选择 、 交 又 和 变异 等 操作 ， 产 生 
一 群 更 适应 环境 的 个 体 ， 使 种 群 进 化 到 搜索 空间 中 更 好 的 区 域 。 经 过 一 代 代 的 
不 断 繁衍 进化 ， 最 后 收敛 到 最 适应 环境 的 个 体 ， 即 问题 的 最 优 解 。 遗 传 算 法 的 
一 般 流程 如 图 9-1 所 示 ， 由 图 可 以 看 出 遗传 算法 是 一 个 典型 的 迭代 寻 优 的 过 程 ， 
它 的 实现 包括 编码 方法 ; 初始 化 种 群 的 产生 ; 适应 度 函 数 以 及 由 选择 、 交 叉 和 
变异 组 成 的 遗传 算 子 ; 终止 条 件 。 

1. 编码 方法 

由 于 遗传 算法 不 能 直接 处 理解 空间 的 数据 ， 因 此 必须 通过 编码 将 解 空 间 的 
解数 据 转化 为 遗传 算法 所 能 处 理 的 搜索 空间 的 基因 型 串 结 构 数 据 。 常 用 的 编码 
方法 包括 二 进 制 编码 、 顺 序 编码 、 实 数 编码 、 整 数 编码 等 。 编 码 方法 对 算法 搜 
索 能 力 、 种 群 多 样 性 等 性 能 具有 很 大 影响 ， 需 要 根据 所 解决 问题 的 实际 需要 ， 
选择 合适 的 编码 方法 。 

2. 初始 群体 的 产生 

遗传 算法 是 一 种 基于 种 群 寻 优 的 方法 ， 算 法 运行 时 是 以 一 个 种 群 在 搜索 空 
间 进 行 搜索 。 我 们 必须 为 遗传 算法 操作 准备 一 个 由 若干 初始 解 组 成 的 初始 群体 。 
初始 种 群 是 随机 产生 的 ， 具 体 的 产生 方式 依赖 于 编码 方法 。 种 群 中 个 体 的 数量 
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随机 产生 初始 种 群 


计算 种 群 中 每 个 个 体 
的 适应 度 














9-1 遗传 算法 流程 图 


称 为 种 群 规模 ， 记 为 W。 种 群 规模 影响 着 遗传 优化 的 最 终结 果 和 遗传 算法 的 执行 
效率 。 一 般 来 说 ， 遗 传 种 群 规模 越 大 越 好 ， 但 规模 越 大 ， 其 适应 度 评估 次 数 增 
加 越 多 ， 将 导致 运算 时 间 的 增 大 ， 通 常设 为 100 ~ 1000。 

3. 适应 度 函 数 

在 遗传 算法 中 使 用 适应 度 函 数 来 表征 种 群 中 每 个 个 体 对 其 生存 环境 的 适应 
能 力 ， 每 个 个 体 具 有 一 个 适应 度 ， 适 应 度 是 群体 中 个 体 生存 机 会 的 唯一 确定 性 
指标 。 因 此 适应 度 函 数 的 选取 直接 影响 遗传 算法 的 收敛 速度 以 及 能 否 找到 问题 
的 最 优 解 。 适 应 度 函 数 基本 是 依据 优化 的 目标 函数 来 确定 ， 目 标 函 数 一 般 表 示 
为 fx) ， 适 应 度 函 数 一 般 为 F(x)。 

对 于 目标 函数 最 小 值 的 优化 问题 ， 将 其 转化 为 求 目 标 函 数 最 大 值 的 优化 问 


题 ， 即 






































F(x) = -minf(x) (9-1) 
对 于 目标 函数 最 大 值 的 优化 问题 ， 可 以 直接 设 定 目标 函数 为 其 适应 度 函 
数 ， 即 








F(x) = maxf(x) (9-2) 
4. 遗传 算 子 
遗传 算 子 模拟 了 每 一 代 中 创造 后 代 的 繁殖 过 程 ， 是 遗传 算法 的 精髓 ， 包 括 


选择 、 交 又 和 变异 。 
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选择 是 以 一 定 的 概率 从 当前 种 群 中 选择 一 部 分 个 体 的 操作 。 在 遗传 算法 中 
自然 选择 规律 的 体现 就 是 以 适应 度 大 小 决定 的 概率 分 布 来 进行 选择 。 个 体 的 适 
应 度 越 大 ， 该 个 体 被 遗传 到 下 一 代 的 概率 越 大 ; 反之 ,个 体 的 适应 度 越 小 ， 该 
个 体 被 遗传 到 下 一 代 的 概率 也 就 越 小 。 选 择 操 作 的 目的 是 保留 优秀 的 基因 ， 改 
善 算 法 的 全 局 收敛 性 以 提高 收敛 速度 。 常 用 的 选择 策略 是 正比 选择 策略 ， 即 每 
个 个 体 被 选中 进行 遗传 运算 的 概率 为 该 个 体 的 适应 度 与 群体 中 所 有 个 体 适应 度 
总 和 的 比 。 对 于 个 体 i， 设 其 适应 度 为 已 ， 种 群 规模 为 VY， 则 该 个 体 被 选中 的 概 
率 为 
































及 


之 页 

交叉 是 指 同 时 对 两 个 相互 配对 的 染色 体操 作 ， 组 合 两 者 的 特性 形成 两 个 新 
的 个 体 。 通 过 交叉 操作 能 从 种 群 中 寻找 到 父 代 双 杂 已 有 但 未 被 合理 利用 的 优 
良 基因 信息 ， 扩 大 了 遗传 算法 在 解 空 间 中 的 搜索 范围 ， 实 现 其 全 局 搜索 的 目 
的 。 交 叉 率 定义 为 各 代 中 交叉 产生 的 后 代数 与 种 群 规模 的 比 ， 记 为 P.， 一 般 取 
为 0.4~0.99。 

变异 是 在 染色 体 上 自发 产生 随机 的 变化 ， 一 种 简单 的 变异 方式 是 替换 一 个 
或 者 多 个 基因 ， 从 而 形成 一 个 新 的 个 体 。 变 异 的 目的 : 一 是 使 算法 具有 局 部 搜 
索 的 能 力 ， 当 遗传 算法 通过 交叉 算 子 的 作用 已 接近 最 优 领域 时 ， 利 用 变异 算 子 
的 局 部 搜索 性 能 可 以 加 速 向 最 优 解 收敛 ; 二 是 维持 群体 多 样 性 ， 防 止 出 现 未 成 
熟 的 收敛 现象 。 变 异 率 定义 为 种 群 中 变异 基因 数 在 总 基因 数 中 的 百分比 ， 记 为 
P, ,一般 取 为 0. 0001 ~0. 1。 

5. 终止 条 件 

遗传 算法 的 终止 条 件 一 般 采 用 设 定 最 大 进化 代数 的 方法 ， 最 大 进化 代数 常 
表示 为 了， 一 般 取 为 100 ~500。 


一 般 的 免疫 算法 基础 理论 


免疫 是 指 生 物体 接触 到 抗原 性 异物 (如 各 种 细胞 、 微 生物 、 病 毒 ) 后 ， 能 
产生 一 种 特异 的 生理 反应 ， 其 作用 是 排除 异物 以 保护 机 体 。 它 是 生物 机 体 的 一 种 
生理 反应 ， 每 当 抗原 性 异物 进入 生物 机 体 后 ， 生 物 机 体能 识别 “自己 ”和 “ 非 
己 ”， 并 且 发 生 特异 性 的 免疫 应 答 ， 排 除 抗原 性 的 非 已 物质 。 免 疫 算法 是 基于 免疫 
系统 机 制 和 免疫 学 理论 开发 的 工程 应 用 算法 。 根 据 构成 系统 中 各 元 素 的 关系 ， 一 
般 分 为 基于 群体 的 免疫 算法 和 基于 网 络 的 免疫 算法 。 第 一 类 包括 所 有 不 考虑 免 
疫 网 络 的 免疫 算法 ， 如 阴性 选择 、 克 隆 选择 算法 等 。 基 于 网 络 的 算法 是 所 有 受 
免疫 系统 网 络 理论 局 发 的 算法 ， 一 般 免 疫 算法 本 质 上 是 基于 网 络 的 算法 。 


P, 





(9-3) 
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9.2.1 免疫 算法 概述 


免疫 算法 是 对 生物 免疫 系统 机 理 抽象 而 得 的 ， 算 法 中 的 许多 概念 和 算 子 与 
免疫 系统 中 的 概念 和 免疫 机 理 存 在 着 对 应 关系 。 为 了 便于 更 好 地 说 明 免 疫 算法 ， 
下 面前 述 几 个 常用 的 免疫 系统 概念 : 

抗原 : 是 指 能 够 刺激 和 诱导 机 体 的 免疫 系统 使 其 产生 免疫 应 答 ， 并 且 能 与 
相应 的 免疫 应 答 产 物 在 体内 或 体外 发 生 特异 性 反应 的 物质 。 

抗体 : 是 指 免疫 系 统 受 抗原 刺激 后 ， 免 疫 细胞 转化 为 浆 细 胞 并 且 产 生 能 与 
抗原 发 生 特异 性 结合 的 免疫 球 蛋 白 ， 该 免疫 球 蛋 白 即 为 抗体 。 

抗原 识别 : 通过 表达 在 抗原 表面 的 表 位 和 抗体 分 子 表面 的 对 位 化 学 基 进 行 
相互 匹配 选择 完成 识别 ， 这 种 匹配 过 程 也 是 一 个 不 断 对 抗原 学 习 的 过 程 ， 最 终 
能 选择 产生 最 适当 的 抗体 与 抗原 结合 。 

疫苗 : 根据 进化 环境 或 者 待 求解 问题 的 先 验 知 识 ， 所 得 到 的 相对 最 佳 个 体 
基因 的 估计 。 

抗体 抗原 的 亲和力 : 抗体 与 抗原 之 间 的 结合 能 力 。 亲 和 度 越 高 ， 免 疫 细胞 
与 抗原 的 结合 力 越 强 ， 免 疫 细 胞 质量 越 好 。 

记忆 细胞 ， 指 免疫 系统 将 能 与 抗原 发 生 反 应 的 抗体 作为 记忆 细胞 保存 记忆 
下 来 ， 当 同类 抗原 再 次 侵入 时 ， 相 应 的 记忆 细胞 被 激活 而 产生 大 量 的 抗体 ， 缩 
短 免疫 反应 时 间 。 

克隆 : 一 般 是 指 生 物 的 增长 过 程 。 

免疫 算法 是 将 竺 求解 的 问题 看 作 抗 原 ， 问 题 的 解 对 应 为 抗体 。 在 使 用 免疫 
算法 解决 具体 问题 时 ， 首 先 要 把 需要 解决 的 问题 抽象 成 抗原 形式 ， 再 产生 初始 
抗体 。 接 着 计算 抗体 与 抗原 、 抗 体 与 抗体 之 间 的 亲 和 性 ， 也 就 是 对 问题 解 的 评 
估 ， 根 据 评 佑 结果， 对 记忆 细胞 进行 更 新 。 再 通过 免疫 算 子 产生 新 的 抗体 ， 对 
新 的 群体 进行 评 佑 ， 若 终止 条 件 满足 ， 则 其 为 该 问题 的 最 佳 解 ， 否 则 重新 计算 
亲 和 性 ， 进 行 下 一 轮 的 克隆 选择 ， 直 至 满足 终止 条 件 为 止 。 免 疫 系统 和 人 免疫 算 
法 之 间 的 比较 见 表 9-1。 

表 9-1 免疫 系统 和 免疫 算法 的 比较 
















































































免疫 系统 免疫 算法 
抗原 要 解决 的 问题 
抗体 最 佳 解 向 量 
抗原 识别 问题 识别 
从 记忆 细胞 产生 抗体 联想 过 去 的 成 功 的 解 
淋巴 细胞 分 化 优良 解 ( 记忆) 的 保持 
细胞 抑制 剩余 候选 解 的 消除 
抗体 增加 (细胞 克隆 ) 利用 遗传 算 子 产生 新 抗体 
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9.2.2 免疫 算法 流程 


一 般 免 疫 算法 的 主要 步 又 如 下 : 

抗原 识别 : 抗原 识别 就 是 用 来 判断 侵入 的 抗原 是 否 已 经 产生 了 相应 的 
抗体 。 

初始 抗体 产生 : 如 果 侵 入 的 抗原 已 经 具有 相应 的 抗体 ， 则 模拟 免疫 系统 的 
记忆 机 制 ， 从 记忆 细胞 中 取出 相应 的 抗体 作为 初始 群体 ; 如 果 侵 入 的 抗原 没有 
相应 的 抗体 ， 就 随机 产生 抗体 群 。 这 样 做 的 好 处 是 ， 可 以 从 记忆 细胞 中 迅速 找 
到 适应 度 高 的 抗体 ， 提 高 抗体 多 样 性 ， 无 须 进 化 ， 从 而 加 快 搜索 速度 。 

计算 适应 度 和 抗体 浓度 : 在 当前 产生 的 群体 中 ， 计 算 所 有 抗体 的 适应 度 。 
在 免疫 算法 中 ， 适 应 度 的 计算 是 通过 适应 度 函 数 来 完成 。 抗 体 的 浓度 是 指 与 某 
一 个 体 相同 或 者 相近 的 个 体 在 种 群 中 所 占 的 比例 。 

产生 记忆 细胞 : 若 抗原 是 新 的 ， 对 于 当前 群体 取出 适应 度 很 高 的 抗体 ， 计 
算 它 与 记忆 细胞 中 抗体 的 相似 度 ， 从 而 用 它 来 代替 记忆 细胞 中 适应 度 最 高 的 搞 
体 ， 这 样 做 可 以 提高 记忆 细胞 中 抗体 的 多 样 性 。 

抗体 的 促进 和 抑制 : 结合 前 面 的 抗体 适应 度 和 群体 中 抗体 的 浓度 ， 来 确定 


抗体 的 死亡 和 分 裂 的 概率 。 抗 体 受 到 促进 
是 指 该 个 体 的 选择 概率 增加 ， 抗 体 受 到 抑 


制 是 指 该 个 体 的 选择 概率 减少 。 高 适应 度 [We 
和 低 浓度 的 个 体 选择 概率 较 计 ， 
前 群体 ， 按 照 一 定 比 例 淘汰 掉 适 应 度 差 的 浓度 


群体 ， 青 随机 生成 同样 数量 的 抗 休 群 加 入 
到 下 一 代 中 。 


终止 条 件 判断 : 如 果 满 足 终止 条 件 
(找到 最 优 和解 或 达到 最 大 迭代 次 数 ) ， 则 算 
法 结束 ， 和 否则 继续 寻 优 。 

免疫 算法 的 基本 流程 如 图 9-2 所 示 。 eo 


Y 
9. 2. 3 一 般 的 免疫 遗传 算法 
为 了 克服 遗传 算法 在 解决 全 局 最 优化 i 
问题 时 出 现 早 熟 收敛 问题 ， 提 高 遗传 算法 
的 全 局 搜索 能 力 ， 将 免疫 算 子 与 传统 遗传 算法 相 结 合 ， 构 造 出 一 种 改进 的 遗传 
算法 一 一 免疫 遗传 算法 。 形 式 上 比较 免疫 算法 和 免疫 遗传 算法 ， 就 是 在 免疫 算 
法 中 添加 了 遗传 算 子 ,与 遗传 算法 相 比 ， 增 加 了 抗原 识别 、 记 忆 功 能 和 调节 功 
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能 ， 并 没有 附加 复杂 的 操作 ， 也 没有 降低 遗传 算法 的 鲁 棒 性 ， 免 疫 遗 传 算法 兼 
顾 了 搜索 速度 、 全 局 搜索 能 力 和 局 部 搜索 能 力 。 

在 解决 实际 问题 时 ， 将 待 求解 的 优化 设计 问题 作为 抗原 ， 将 问题 的 解 作为 
抗体 ， 通 过 抗原 和 抗体 的 亲 和 度 描述 可 行 解 与 最 优 解 的 逼近 程度 。 免 疫 遗 传代 
法 是 从 随机 生成 的 初始 解 抗 体 种 群 出 发 ， 对 父 代 (当前 代 ) 抗体 群 进行 交叉 、 
变异 等 遗传 操作 后 ， 计 算 抗体 的 浓度 ， 根 据 抗体 的 期 望 繁殖 率 进 行 选择 操作 ， 
期 望 繁殖 率 高 的 个 体 有 较 高 的 概率 被 选中 并 复制 到 下 一 代 ， 如 此 产生 的 子 代 通 
常 优 于 父 代 。 上 述 过 程 循环 执行 直到 满足 停止 条 件 ， 最 终 使 优化 过 程 以 大 概率 
趋 于 全 局 最 优 解 。 免 疫 遗 传 算法 的 一 般 算 法 流程 图 如 图 9-3 所 示 。 



















































抗原 的 识别 





初始 抗体 产生 





产生 记忆 细胞 





抗体 的 产生 
(选择 、 交 叉 、 变 异 ) 


群体 更 新 











9-3 ”免疫 遗传 算法 的 一 般 流程 图 


免疫 遗传 算法 可 以 克服 遗传 算法 收敛 方向 无 法 控制 的 缺陷 ， 把 目标 函数 和 
约束 条 件 作为 抗原 ， 这 样 做 能 保证 所 产生 的 抗体 直接 与 问题 相关 联 ， 收 敛 方 
向 能 得 到 控制 。 生 成 的 抗体 可 以 有 效 地 排除 抗原 ， 也 就 相当 于 求 得 问题 的 最 优 
解 。 对 抗原 亲和力 高 的 抗体 进行 记忆 ， 能 够 促进 快速 求解 ， 即 当 遇 到 同类 的 抗 
原 时 可 以 快速 产生 相应 的 抗体 。 在 许多 方面 表现 出 超越 遗传 算法 和 免疫 算法 的 
优点 。 
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基于 改进 免疫 遗传 的 图 像 特征 级 融合 实现 





9.3.1 改进 算法 的 关键 技术 


针对 传统 免疫 遗传 算法 存在 的 早熟 收 僵 ,固定 交叉 率 、 变 异 率 带 来 的 搜索 
过 程 缓慢 ， 以 至 于 种 群 进化 停 清 不 前 等 ， 研 究 提出 一 种 加 入 “精英 选择 ”策略 
和 自 适应 策略 的 改进 免疫 遗传 算法 。 

1.“ 精 英 选择 ”策略 

遗传 算法 的 最 大 问题 就 是 容易 陷入 局 部 最 优 ， 为 了 避免 当前 种 群 的 最 优 个 
体 在 下 一 代 发 生 丢 失 ， 导 致 遗传 算法 陷入 局 部 最 优 而 不 能 收 全 到 全 局 最 优 解 ， 
De Jong 在 其 博士 论文 中 提出 了 “精英 选择 ”策略 ， 也 称 为 “精英 保留 ”策略 。 
精英 选择 策略 是 把 群体 在 进化 过 程 中 迄今 出 现 的 最 好 个 体 〈 称 为 精英 个 体 ) 不 
进行 配对 交叉 而 直接 复制 到 下 一 代 中 。 

要 使 得 遗传 算法 能 够 快速 地 收敛 到 全 局 最 优点 ， 应 该 尽 可 能 保证 适应 度 高 
的 优秀 个 体 的 存在 ， 充 分 发 挥 遗 传 算法 “优胜 劣 汰 ”的 特点 。 这 种 精英 选择 策 
略 中 ， 在 保留 最 优 个 体 的 基础 上 ， 添 加 精英 个 体 取 代 新 一 代 群 体 中 适应 度 最 小 
的 个 体 ， 该 精英 个 体 具有 与 最 优 个 体 的 相 异 因子 较 大 ， 而 适应 度 不 过 小 的 特点 。 
这 样 做 不 但 保持 了 每 一 代 最 佳 适应 度 单调 递增 , 而 且 通 过 新 添加 的 个 体 保持 了 
种 群 个 体 染 色 体 的 多 样 性 ， 提 高 算法 的 整体 搜索 能 力 ， 使 算法 具有 全 局 收敛 性 。 

2. 自 适 应 策略 

免疫 遗传 算法 控制 参数 中 的 交叉 概率 和 变异 概率 的 选择 是 影响 遗传 算法 行 
为 和 性 能 的 关键 所 在 ， 直 接 影响 算法 的 收敛 性 。 交 又 率 P. 越 大 ， 新 个 体 产 生 的 
速度 就 越 快 ， 然 而 取 值 过 大 会 破坏 群体 的 优良 特性 ,不 利于 进化 ; 但 是 如 果 P。 
取 值 过 小 ， 会 使 个 体 的 搜索 速度 慢 ， 以 至 于 停滞 不 前 。 对 于 变异 率 P,，P\ 越 
大 ， 种 群 的 多 样 性 就 越 好 ， 发 生 早熟 的 可 能 性 就 越 小 ， 然 而 较 大 的 P, 将 使 个 体 
改变 方向 ， 扩 大 搜索 范围 ， 使 免疫 遗传 算法 退化 为 随机 搜索 ， 进 化 速度 变 慢 ; 
如 果 Py 过 小 ， 使 产生 新 个 体 和 抑制 早熟 的 能 力 较 差 ， 不 能 达到 变异 操作 的 效果 。 
要 为 某 个 特定 的 优化 问题 设置 好 交叉 概率 和 变异 概率 ,算法 需要 经 过 反复 地 试 
验 且 难以 丰富 种 群 中 优良 解 的 多 样 性 。 

自 适应 调节 能 根据 个 体 的 适应 度 与 当前 群体 进化 情况 ， 自 动 改 变 Pe 和 Py。 
当 种 群 中 个 体 适应 度 趋 于 一 致 或 趋 于 局 部 最 优 时 ， 它 使 P。、Py 增 加 ， 而 当 适 应 
度 比 较 分 散 时 ， 则 令 Pc。、Py 减 少 。 同 时 对 于 适应 度 高 于 群体 平均 适应 度 的 个 
体 ， 给 予 较 低 的 P。、P,， 使 它 得 以 保护 进入 下 一 代 ; 而 低 于 平均 适应 度 的 个 
体 ， 就 给 予 较 高 的 P。、Py， 使 之 被 淘汰 。 自 适应 变化 的 交叉 率 和 变异 率 ， 能 使 
算法 具有 更 高 的 鲁 棒 性 、 全 局 最 优 性 和 效率 。 
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智能 信息 融合 与 目标 识别 方法 5: 
本 章 P. 按 下 式 进行 白 适 应 调整 : 

Pp - (Pa -Po) (F-F,,) 
i Se 


Fz=F,. 
(9-4) 








P = 
Po 
式 中 ,Fi 是 种 群 中 最 大 的 适应 度 函 数 ，F, 是 每 代 种 群 的 平均 适应 度 函 数 
下 是 要 交叉 的 两 个 个 体 中 较 大 的 适应 度 函 数值 ，P., 、P6s 是 初始 化 时 第 一 、 第 二 











代 的 交叉 概率 。 
Py 按 下 式 进 行 自 适应 调整 

Pw) (Fs 一 天 ) 忆 > 

| (9-5) 


(P 
Pu 于 F 三 不 
FF <P 








Py = 
Pu 
体 的 适应 度 函 数值 ，Py, 、Pw 是 初始 化 时 第 一 、 第 二 代 的 变 


式 中 ,，F' 是 要 变异 个 
异 概率 。 
9. 3.2 基于 改进 免疫 遗传 的 特征 融合 原理 
F 融 合 原理 图 如 图 9-4 所 示 。 分 别提 取 红 外 和 可 见 光 
FE 向 量 。 利 用 改进 免疫 遗传 算法 对 特 


E 融 合 组 合 。 














基于 改进 免疫 遗传 的 特 和 
FE， 将 得 到 的 特征 组 成 特 梨 


图 像 中 目标 的 特 和 
F 的 组 合 进 行 优化 ， 经 过 评估 找到 识别 能 力 最 好 的 特 生 








生 





图 9-4 基于 改进 免疫 遗传 的 特征 融合 原理 图 











9. 3.3 ”特征 级 融合 实现 
以 上 述 介绍 的 抗体 相似 度 、 抗 体 浓度 等 定义 以 及 精英 选择 策略 、 自 适应 策 
F 级 融合 的 具体 步骤 : 


略为 基础 ， 下 面 给 出 基于 改进 遗传 免疫 算法 的 图 像 特 生 
1. 确定 编码 方式 和 参数 
FE 融 合 目 的 是 从 原始 特征 向 量 中 选 出 d 个 特征 的 最 优 组 


基于 免疫 遗传 的 特 生 
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合 ， 组 成 融合 特征 。 这 里 采用 二 进 制 编码 ， 选 中 的 特征 取 为 1， 否则 为 0， 则 抗 
体 编码 长 度 为 原始 特征 向 量 个 数 。 根 据 实际 需求 确定 种 群 规模 、 选 择 率 、 变 异 
率 和 终止 进化 代数 。 

2. 生成 初始 抗体 群 

对 于 初次 应 答 ， 随 机 产生 N 个 初始 抗体 ， 而 对 于 再 次 应 答 ， 则 借助 免疫 机 
制 的 记忆 功能 ， 部 分 初始 抗体 由 记忆 细胞 获取 ， 剩余 的 抗体 随机 地 产生 。 

3. 计算 抗体 的 亲 和 度 、 浓 度 和 激励 度 

抗体 的 亲 和 度 表征 免疫 细胞 与 抗原 的 结合 强度 ， 定 义 为 

aff(x,) =100p.,,, ~ 10d/L (9-6) 
式 中 ,pi 是 抗体 x; 十 折 交 叉 验 证 训练 模型 的 识别 率 ，d 为 选中 的 特征 个 数 ， 
了 为 原始 特征 向 量 的 特征 个 数 。 

十 折 交 叉 验 证 是 指 将 每 类 目标 的 训练 样本 分 为 十 份 ， 轮 流 将 其 中 九 份 作为 
训练 数据 ， 一 份 作为 测试 数据 ， 进 行 试验 。 一 般 需 循环 十 次 ， 直 到 所 有 十 份 数 
据 全 部 被 选择 一 遍 为 止 ， 十 次 验证 的 正确 率 平 均值 即 为 pm。 

抗体 的 浓度 表征 了 抗体 种 群 多 样 性 的 好 坏 ， 过 高 的 抗体 浓度 意味 着 种 群 中 
存在 大 量 相似 的 个 体 ， 寻 优 搜索 会 集中 于 可 行 解 区 间 的 一 个 区 域 ， 不 利于 全 局 
优化 。 因 此 应 抑制 种 群 中 浓度 过 高 的 个 体 ， 以 保证 个 体 的 多 样 性 。 抗 体 x; 的 浓 
度 定义 为 
























































N 


1 





den (x;) = NN aff (x, ,x;) (9-7) 
, 1 wi 三 4 、 
式 中 , aff(x， ,Xj) = > or ;Oi = 人 %; 为 种 群 中 的 第 i 个 抗体 ，aff(x,， %;) 


为 抗体 x; 与 抗体 %; 的 亲 和 度 ，x; 为 抗体 x 的 第 上 位 。 

抗体 的 激励 度 是 对 抗体 质量 的 最 终 评价 结果 ， 与 抗体 浓度 和 抗体 亲 和 度 密 
不 可 分 ,通常 浓度 低 而 亲 和 度 大 的 抗体 具有 较 高 的 激励 度 。 抗 体 x; 的 激励 度 可 
以 利用 抗体 亲 和 度 和 抗体 浓度 进行 简单 的 数学 运算 得 到 ， 如 : 

sim(x;) = aff(x,) -10den(x;) (9-8) 

计算 所 有 抗体 的 激励 度 ， 把 抗体 按 激励 度 从 小 到 大 的 顺序 排列 ， 将 适应 度 
最 大 的 抗体 保留 为 精英 抗体 ， 然 后 将 其 复制 和 保存 。 

4. 抗体 记忆 库 初 始 

设 定 记 忆 库 的 大 小 为 十 个 ， 从 初始 化 种 群 中 选择 抗体 激励 度 最 好 的 两 个 个 
体 进 行 存储 。 

5. 选择 、 交 叉 和 变异 操作 

本 章 采 用 正比 选择 策略 对 抗体 执行 选择 操作 ， 以 P 为 概率 交叉 抗体 ， 对 于 
经 过 交叉 操作 后 的 抗体 ， 以 Py 为 概率 随机 对 种 群 进行 变异 ， 形 成 新 一 代 种 群 。 
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根据 式 (9-4) 和 式 (9-5) ， 自 适应 改变 P. 、P,。 

6. 群体 更 新 

把 抗体 按 激励 度 从 小 到 大 的 顺序 排列 ， 用 记忆 抗体 代替 遗传 操作 后 产生 的 
新 种 群 中 前 几 个 个 体 。 如 果 这 一 代 抗 体 群 中 没有 与 精英 抗体 激励 度 相同 的 抗体 ， 
则 将 保存 的 精英 抗体 复制 一 个 到 该 抗体 群 中 ， 并 将 该 抗体 群 中 激励 度 最 小 的 抗 
体 删 除 ;， 如果 这 一 代 抗 体 群 中 激励 度 最 大 的 抗体 其 激励 度 的 值 大 于 精英 抗体 的 
激励 度 的 值 ， 则 将 这 个 激励 度 最 大 的 抗体 复制 一 个 ， 并 以 它 作 为 新 的 精英 抗体 
替代 保存 的 精英 抗体 。 

7. 更 新 抗体 记忆 库 

如 果 抗 体 记忆 库 未 满 ， 选 择 最 好 的 两 个 新 个 体 更 新 补充 记忆 库 ; 如 果 抗 体 
记忆 库 已 满 ， 则 选择 最 好 的 两 个 新 个 体 蔡 换 记 忆 库 中 最 差 的 两 个 个 体 。 

8. 终止 检验 

若 达到 终止 进化 代数 ， 则 结束 整个 算法 的 运行 ， 输 出 融合 特征 ; 否则 ， 返 
回 步 骤 3。 

改进 免疫 遗传 算法 的 图 像 特征 级 融合 流程 图 如 图 9-5 所 示 。 


















































初始 抗 








根据 适应 度 和 浓度 ， 
进行 选择 复制 








9-5 改进 的 免疫 遗传 算法 流程 图 


110 


;5 第 9 章 基于 改进 免疫 遗传 的 特征 融合 方法 


9.3.4 实验 结果 与 分 析 


为 验证 本 章 算 法 改进 后 的 优越 性 ， 采 用 本 章 改 进 算 法 对 8.1 节 提 取 方 法 生 
成 的 特征 向 量 进行 融合 实验 。 设 定 算法 的 初始 种 群 规 模 为 50， 初 始 交叉 概率 为 
0.9， 第 二 代 交 叉 概 率 为 0.6， 初 始 变异 率 为 0.1， 第 二 代 变 异 概率 为 0.001， 停 
止 准则 设 为 近代 次 数 达 到 200 代 。 运 行 10 次 之 后 ， 激 励 度 最 高 为 95. 33 ， 此 时 
融合 后 的 特征 选 为 复杂 度 、 长 宽 比 、 局 部 平稳 性 、Hu 不 变 矩 中 的 由、 和 、 中 、 
由 。 将 本 章 算法 与 基于 遗传 算法 和 基于 免疫 遗传 算法 的 特征 融合 方法 进行 比较 ， 
为 了 便于 对 比分 析 ， 参 数 选择 同上 。 绘 制 适应 度 与 迭代 次 数 的 变化 曲线 如 图 9-6 
所 示 。 

从 图 9-6 可 以 看 出 ， 遗 传 算法 在 迭代 过 程 中 多 次 出 现 适 应 度 较 长 时 间 停 留 在 
一 个 数值 上 的 情况 ， 与 其 他 两 种 算法 相 比 ， 遗 传 算法 适应 度 的 变化 速度 较 慢 ， 
这 说 明 种 群 向 一 些 相同 或 相似 的 串 收 僵 。 男 外 ， 遗 传 算 法 收敛 到 局 部 最 优 解 ， 
而 不 是 全 局 最 优 解 ， 即 早熟 现象 。 也 就 是 说 在 遗传 算法 进化 过 程 中 ， 出现 了 一 
个 适应 度 大 大 超过 当前 种 群 平均 适应 度 的 个 体 ， 在 选择 、 交 又 和 变异 算 子 的 作 
用 下 ， 使 得 这 个 在 种 群 中 占据 绝对 的 优势 ， 搜 索 解 的 范围 迅速 变 罕 ， 从 而 使 算 
法 较 早 的 收敛 于 局 部 最 优 解 。 
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93.5 
里 93 
并 ys 
921| 
915E 一 一 下 传 算 活 
oil ------ 免 疫 壮 传 算法 
改进 免疫 遗传 算法 
2030 20 40 60 80 100 120 140 160 180 200 
迭代 次 数 
图 9-6 收敛 曲线 


免疫 遗传 算法 在 第 60 代 左 右 搜索 到 了 全 局 最 优 解 ， 而 遗传 算法 是 在 第 100 
代 左 右 才 搜 索 到 局 部 最 优 解 ， 说 明 与 遗传 算法 相 比 ， 免 疫 遗 传 算法 不 仅 有 较 快 
的 收敛 速度 ， 而 且 能 有 效 克 服 遗传 算法 中 出 现 的 早熟 收敛 现象 ， 提 高 了 全 局 搜 
索 能 力 。 这 是 由 于 记忆 细胞 的 引入 使 得 每 次 交叉 和 变异 的 父 代 抗 体 都 可 以 从 性 
能 良好 、 适 应 生存 的 抗体 中 挑选 ， 免 疫 遗 传 算法 能 以 很 快 的 速度 收敛 于 全 局 最 
优 。 从 曲线 的 收敛 程度 可 以 看 出 ， 使 用 免疫 遗传 算法 得 到 的 抗体 的 亲 和 度 是 不 
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断 上 升 的， 这 说 明 抗体 不 断 朝 着 优良 方向 进行 进化 。 

本 章 研 究 提出 的 改进 免疫 遗传 算法 ， 在 第 30 代 左 右 搜索 到 了 全 局 最 优 解 。 
“精英 选择 ”策略 把 最 好 的 个 体 作 为 精英 直接 带 入 下 一 代 个 体 中 ， 而 不 经 过 任何 
改变 ， 保 持 了 种 群 中 个 体 染 色 体 的 多 样 性 ， 提 高 了 全 局 搜索 能 力 。“ 精 英 选择 ” 
策略 也 能 避免 算法 对 宛 余 空 间 的 过 多 搜索 ,加 快 了 搜索 速度 。 在 交叉 率 和 变异 
率 中 加 入 自 适应 策略 ， 使 得 交叉 操作 时 ， 组 合 两 个 个 体 中 的 优良 基因 产生 新 的 
后 代 ， 可 以 在 种 群 进化 期 间 加 快 搜索 速度 ;变异 操作 时 保持 种 群 中 基因 的 多 样 
性 ， 提 高 了 算法 的 计算 速度 和 效率 ， 使 算法 在 保持 种 群 多 样 性 的 同时 保证 了 算 
法 的 收敛 性 ,确保 快速 收敛 于 全 局 最 优 解 。 

将 各 算法 融合 得 到 的 主要 实验 数据 汇总 在 一 起 ， 见 表 9-2。prob 为 使 用 融合 
季 征 和 支持 向 量 机 方法 识别 目标 的 平均 成 功率 ，IMEAN 为 寻找 最 优 特征 组 合 所 
需要 的 平均 迭代 次 数 。 





























表 9-2 各 算法 融合 效率 评价 





遗传 算法 免疫 遗传 算法 改进 算法 
prob 94. 44 97.32 97.32 
IMEAN 104 5 30 


表 9-2 的 数据 可 以 更 直观 地 证 明 上 述 结论 。 算 法 在 第 30 代 左 右 就 能 够 收敛 
到 最 优 解 ， 这 说 明 本 章 人 研究 提出 的 改进 免疫 遗传 算法 有 较 快 的 收敛 速度 和 不 易 
出 现 早熟 现象 的 优点 。 


本章 小 结 


本 章 在 介绍 了 一 般 的 遗传 算法 、 免 疫 算 子 与 遗传 算法 相 结 合 的 免疫 遗传 算 
法 的 基础 上 ， 针 对 免疫 遗传 算法 的 不 足 ， 将 “精英 选择 ”策略 和 上 自 适应 策略 加 
入 到 免疫 遗传 算法 中 ， 提 出 并 研究 了 一 种 改进 免疫 遗传 算法 。 随 后 研究 了 基于 
这 种 改进 免疫 遗传 算法 的 图 像 特 征 融 合 ， 先 对 特征 进行 编码 ， 随 后 初始 化 种 群 ， 
再 由 改进 的 免疫 遗传 算法 融合 特征 ， 最 后 通过 实验 对 比分 析 了 改进 算法 与 遗传 
算法 和 免疫 遗传 算法 的 性 能 。 实 验 结果 证 明 改 进 的 免疫 遗传 算法 有 较 快 的 收敛 
速度 和 较 好 的 搜索 能 力 ， 使 用 基于 改进 的 免疫 遗传 算法 的 图 像 融合 特征 具有 较 
好 的 识别 率 。 
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第 40 章 六 一 
基于 独立 分 量 的 特征 融合 


独立 分 量 分 析 (ICA) 算法 是 一 种 新 兴 的 信号 处 理 技术 ， 用 于 从 多 维 统计 数 
据 中 找 出 隐 含 因子 或 独立 分 量 ， 从 线性 变换 的 角度 解释 ，ICA 就 是 要 在 混合 的 观 
测 信号 中 估计 出 源 信号 的 基本 结构 。ICA 的 基本 理论 是 在 20 世纪 80 年 代 初 期 由 
法 国学 者 本 Herault 和 C. Jutter 首先 提出 的 ， 到 90 年 代 中 期 ，ICA 的 研究 已 经 得 
到 了 国际 信号 处 理 界 的 广泛 关注 。 目 前 ICA 的 研究 工作 都 集中 在 算法 理论 研究 
和 实际 应 用 方面 ， 各 国学 者 相继 提出 了 一 系列 的 估计 算法 ,包括 FastICA 算法 、 
Infomax 算法 、 极 大 似 然 估 计算 法 和 高 阶 累积 量 算法 等 。 随 着 ICA 算法 理论 研究 
的 不 断 改进 和 日 益 成 熟 ， 该 算法 也 被 广泛 应 用 到 了 通信 数据 处 理 、 金 融 数 据 分 
析 、 生 物 医学 信号 处 理 、 语 音信 号 处理 、 图 像 处 理 等 各 个 领域 ,并 取得 了 很 好 
的 成 绩 。ICA 算法 起 初 是 在 信号 处 理 领 域 发 展 起 来 并 得 到 了 广泛 关注 ， 但 随 着 
ICA 算法 本 身 的 研究 以 及 在 信号 处 理 方面 的 成 功 应 用 ， 很 多 学 者 开始 尝试 把 ICA 
算法 引入 到 图 像 处 理 领 域 , 并 且 也 取得 令 人 惊奇 和 满意 的 效果 。 


ICA 的 定义 


ICA 的 基本 思想 主要 是 在 假设 随机 变量 的 各 分 量 之 间 是 统计 独立 或 近似 独立 
的 情况 下 用 一 组 基 函 数 来 表示 这 一 随机 变量 ， 也 就 是 能 从 训练 样本 中 找到 一 组 
相互 独立 的 分 量 ， 并 以 此 来 描述 原来 的 样本 数据 。 

ICA 的 目的 是 将 观测 数据 通过 某 种 线性 变换 分 解 成 统计 独立 的 分 量 。 假 设 输 
入 的 随机 向 量 * 确实 是 通过 统计 独立 的 线性 组 合 来 合成 的 ， 并 且 从 严格 意义 上 
讲 ， 成 分 是 固定 的 ， 见 式 (10-1) 。 



























































xX=As (10-1) 
式 中 ,x =[xi，%s，…%,] 是 n 维 观测 信号 向 量 ; 4 是 n xm 大 小 的 混合 矩阵; 
s=[s1,82，*…s] 是 普 维 零 均 值 的 源 信号 向 量 ， 其 分 量 是 相互 独立 的 。 
ICA 的 任务 是 给 定 一 个 输入 样本 * ， 通 过 确定 一 个 可 逆 和 矩阵 下 得 到 变换 后 的 
向 量 y， 即 式 (10-2) 成 立 。 











y= Wx (10-2) 
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式 中 , y,(i=1,，2,，…m) 是 源 信号 ; 的 估计 值 。 

假设 所 有 独立 分 量 都 有 相同 的 分 布 ， 且 m =n， 这 样 就 可 以 认为 下! 是 4 的 
估计 ， 在 理想 情况 下 ， 丈 =4…。 由 式 (10-2) 可 知 ， 为 了 估计 其 中 的 一 个 独立 
分 量 y;,， 可 考虑 y, =wix 的 线性 组 合 ， 这 里 w 是 一 个 待定 的 向 量 ， 如 果 w; 是 甜 
阵 丈 (4 的 逆 ) 的 一 个 行 向 量 ， 则 这 个 线性 组 合 实际 上 就 是 一 个 独立 分 量 。 但 是 
由 于 和 矩阵 4 是 未 知 的 ， 所 以 不 能 准确 地 确定 出 w， 但 是 我 们 可 以 找到 一 个 很 接近 
的 估计 。 若 将 变量 进行 如 下 变换 ， 即 定义 z=A'w， 则 有 

y=w'x=w As=z's (10-3) 

式 中 , y 是 s 的 一 个 线性 组 合 ， 其 权重 由 z 给 出 。 

由 式 (10-3) 可 知 最 大 化 wx 的 非 高 斯 性 ， 即 可 得 到 一 个 独立 分 量 。 


随机 变量 的 独立 性 概念 


统计 独立 性 是 构成 ICA 基础 的 一 个 关键 概念 。 考 虑 两 个 不 同 随机 变量 x 和 y 
的 情形 ， 如 果 知 道 随机 变量 y 的 值 并 不 能 给 出 随机 变量 * 取 值 的 任何 信息 ， 那 么 
我 们 说 x 独立 于 y。 数 学 上 ,统计 独立 性 是 通过 联合 概率 密度 函数 来 定义 的 。 若 
随机 变量 x 和 y 为 独立 的 ， 需 要 满足 式 (10-4) 的 条 件 : 
pry (X,Y) =p.(%)p,(Y) (10-4) 
换 句 话说 ，* 和 y 的 联合 概率 密度 p,,(x，y) 必须 能 分 解 成 它们 的 边缘 密度 
p(x*) 与 p,(y) 的 乘积 。 可 以 通过 累积 分 布 函数 等 价 地 来 定义 : 在 式 (10-4) 
中 将 概率 密度 函数 换 成 相应 的 累积 分 布 函 数 ， 那 么 联合 累积 分 布 函 数 也 必须 是 
可 分 解 的 。 
满足 独立 性 的 随机 变量 具有 如 下 基本 性 质 : 
Elg(x)h(y)|} =Elg(x) | Elh(y)| (10-5) 
式 中 , g(x) 和 有 h(y) 分 别 是 关于 x 和 y 的 任意 绝对 可 积 函 数 。 这 是 因为 : 


ElgCORy) = | | ge) Rh) ps,y) dyds 






































= | gop) ds] hy)p,(y) dy 
= Elg(x) | EIh())| (10-6) 
由 式 (10-4) 可 以 推广 到 多 个 随机 变量 的 情形 。 令 *，y，z… 是 随机 向 量 ， 
则 x，y，z… 的 独立 性 条 件 见 式 (10-7): 








Puya (XY,2°") =p,(X)Pp,(Y) Pz) (10-7) 
而 基本 性 质 式 (10-5) 则 推广 为 式 (10-8) 所 示 : 
Elg(x)g,(y)g8.(z2):…| =Elg.(x)IElg,(y) Elg.(z)}:.… (10-8) 


式 中 ，g,(x)、g,(y) 和 g,(z) 分 别 是 随机 变量 x、y、z 的 任意 函数 ， 要 求 这 些 
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函数 使 得 式 (10-8) 中 定义 的 期 望 存在 。 

式 (10-8) 给 出 了 统计 独立 性 标准 观念 的 一 种 推广 。 随 机 向 量 x 的 分 量 本 
身 就 是 标量 值 的 随机 变量 ，y 和 z 也 是 一 样 。 显 而 易 见 ，x 的 各 分 量 之 间 是 可 以 
相互 关联 的 ,但 需要 与 其 他 随机 向 量 的 分 量 之 间 相 互 独立 ， 对 随机 向 量 y 和 z 也 
有 类 似 的 论断 ， 这 样 才能 使 得 式 (10-8) 成 立 。 


ICA 独立 性 的 度量 


ICA 的 目标 是 通过 寻找 合适 的 线性 变换 [ 见 式 (10-9)]， 来 得 到 一 组 相互 
独立 的 随机 变量 ， 也 就 意味 着 如 果 源 信号 S(t1) 之 间 是 相互 独立 的 ， 那么 了 (如 
是 S(t) 的 估计 。 下 面 我 们 讨论 儿 个 信号 之 间 独 立 性 的 度量 标准 。 

Y(t) =BX(t) (10-9) 


























10. 3. 1 非 高 斯 性 


非 高 斯 性 在 ICA 模型 的 估计 中 扮演 着 极为 重要 的 角色 ， 是 实现 ICA 估计 的 
一 个 基础 ， 独 立成 分 可 以 通过 寻找 数据 具有 最 大 非 高 斯 性 的 方向 而 得 到 ， 而 非 
高 斯 性 可 以 利用 箭 或 者 累积 量 (如 峭 度 ) 来 度量 。 实 际 在 自然 界 中 真正 满足 高 
斯 分 布 的 信号 很 少 ， 所 以 ICA 方法 的 研究 有 非常 重要 的 意义 ， 并 且 应 用 前 景 广 
阔 。ICA 以 统计 独立 性 为 基本 原则 ， 非 高 斯 性 极 大 是 度量 ICA 独立 性 的 重要 方 
法 ， 它 的 思想 来 源 于 中 心 极 限定 理 。 
定理 10.1 (中 心 极限 定理 ) : 设 随机 变量 x,，x,，…，%, 相互 独立 ， 它 们 的 
期 望 和 方差 见 式 (10-10) 所 示 : 
Elx} =u, DIx,) =o 关 0 大 =1;2， (10-10) 
记忆 = > vi ， 若 存在 正 数 85， 使 得 当 mra 时 ， 令 也 = 六 z 为 某 独 立 同 
分 布 随机 变量 |z,| 的 部 分 和 序列 。 因 为 当 /一 时 ,x 可 能 无 界 地 增长 ， 进 而 
考虑 标准 化 的 变量 ， 其 公式 见 式 (10-11) 所 示 : 
x, — Elx,! 
4 三 1x | 
可 以 说 明 ， 当 io 时 ,yi 的 分 布 收敛 于 具有 零 均 值 和 单位 方差 的 某 个 高 斯 
分 布 。 
中 心 极限 定理 可 以 推广 到 具有 共同 均值 m, 和 协 方差 矩阵 C. 的 随机 向 量 z 
的 情形 。 随 机 向 量 序列 见 式 (10-12) 所 示 : 


yi = 2 ; — m,) (10-12) 
它 的 极限 分 布 是 一 个 具有 零 均值 和 协 方差 为 C. 的 多 元 高 斯 分 布 。 






























































(10-11) 
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由 中 心 极限 定理 可 知 ， 在 一 定 条 件 下 ， 相 互 独立 的 各 个 随机 变量 之 和 的 分 
布 趋向 于 高 斯 分 布 ， 两 个 独立 随机 变量 之 和 形成 的 分 布 比 两 个 原始 的 随机 变量 
中 的 任意 一 个 更 接近 于 高 斯 分 布 。 也 就 是 说 ， 最 大 化 信号 的 非 高 斯 性 和 独立 性 
是 一 致 的 ， 这 也 就 是 所 谓 的 “ 非 高 斯 性 就 是 独立 的 ”。 

为 了 在 ICA 估计 中 使 用 非 高 斯 性 ， 我 们 必须 对 一 个 随机 变量 (如 y) 的 非 高 
斯 性 定义 一 个 度量 指标 。 下 面 将 介绍 两 个 度量 信号 非 高 斯 性 的 重要 指标 : 峭 度 
和 人 负 炳 。 

(1) 峭 度 

随机 变量 的 四 阶 累 计量 又 叫 作 峭 度 ， 是 经 典 的 非 高 斯 性 度量 指标 。 

在 零 均 值 的 情况 下 ，y 的 峭 度 kurt(y) 可 定义 为 


































































































kurt(y) =Ely | -3(Ely |) (10-13) 
也 可 以 用 规范 化 的 峭 度 ， 其 定义 为 
Ely'| 
k = 一 一 一 一 3 10- 14 
对 于 白化 的 数据 ，E|y?| =1， 因 此 峭 度 的 两 个 定义 都 归结 ; 
kurt(y) =k(y) =E{y|} -3 (10-15) 


这 意味 着 对 于 白化 数据 ， 四 阶 矩 iy* | 可 以 替代 峭 度 来 刻画 y 的 分 布 ， 这 
也 说 明 ， 峭 度 实际 上 就 是 四 阶 矩 的 一 种 规范 形式 。 高 斯 变量 的 峭 度 为 零 ， 对 于 
高 斯 分 布 的 变量 y， 其 四 阶 矩 等 于 3( 五 | 姑 |)?。 

在 ICA 及 其 相关 领域 ， 峭 度 的 绝对 值 或 2 次 方 已 被 广泛 地 用 作 非 高 斯 性 的 
度量 ， 这 主要 是 因为 其 无 论 从 理论 研究 还 是 计算 上 都 非常 简单 。 从 计算 角度 ， 
在 样本 方差 保持 不 变 的 情况 下 ， 峭 度 可 以 简单 地 用 样本 数据 的 四 阶 矩 来 估计 。 
由 于 在 两 个 随机 变量 相互 独立 的 情况 下 ， 峭 度 具 有 以 下 两 种 线性 特点 ， 因 此 理 
论 分 析 也 相应 得 到 简化 。 设 y, 和 yy, 是 两 个 相互 独立 的 随机 变量 ， 则 式 (10-16) 
和 式 (10-17) 两 式 恒 成 立 : 





















































kurt(y +y,) = kurt(y,) + (y,) (10-16) 
kurt(ay ) =a kurt(y,) (10-17) 
式 中 ，a 为 常数 。 
(2) 负 和 


精 是 信息 论 中 的 基本 概念 ， 用 来 衡量 随机 变量 出 现 的 期 望 值 。 对 于 一 个 离 
散 取 值 的 随机 变量 X， 它 的 粮 定义 为 
H(X) =- DP(X = a)logP(X = ww) (10-18) 
式 中 ,a, 为 X 的 可 能 取 值 。 
取 不 同 的 对 数 基底 ， 将 得 到 炉 的 不 同 单位 。 通 常情 况 下 取 2 作为 基底 ， 这 
时 的 单位 是 bit。 
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负 信 也 是 度量 非 高 斯 性 的 一 个 重要 指标 ， 负 炉 /定义 为 














J(x) =H(x,s) —- H(X) (10-19) 
式 中 ，x us 为 高 斯 随机 向 量 。 
它 与 x 具有 相同 的 协 方差 矩阵 。 它 的 炉 可 以 由 式 (10-20) 计算 得 到 ， 
H(x ,as ) =3log | detS| + [1 +log2™ | (10-20) 


式 中 ,nn 为 x 的 维 数 。 
负 箭 总 是 非 员 的 ， 它 在 可 道 线性 变换 下 是 不 变 的 ， 这 是 因为 ， 对 y = Mx， 
有 Elyy | =MS3M" ， 负 业 可 以 用 式 (10-21) 计算 . 


(Mx) =3log | det( MSEM") | a +log27 | - (H(x) +log |detM |) 
=3log| det(S5) | 12x31og| det(M) [1+log2m] -HCx) -~log| detM| 


=3log | det( 3) | + 到 [1 +log2m] -HOx) 


=H(x,,, ee .) -H(x) =J(x) (10-21) 
负 信 是 尺度 不 变 的 ， 也 就 是 说 ， 把 一 个 随机 变量 乘 以 某 个 和 常数， 不 会 改变 
它 的 负 信 。 


10. 3.2 互信 息 


互信 息 是 指 一 个 集合 中 的 一 组 随机 变量 和 其 他 随机 变量 之 间 同 时 具有 某 种 
互信 息 最 小 是 度量 ICA 独立 性 的 另 一 个 重要 指标 。 利 用 灯 ， 可 以 
将 n 个 (标量) 随机 变量 x,，i=1，…, nn 之 间 的 互信 息 了 定义 为 

Trt) = SA) -AOX) (10-22) 
式 中 ,X 为 包含 所 有 x, 的 向 量 。 

互信 息 可 以 像 箭 一 样 解 释 成 代码 长 度 。 厅 (x, ) 这 些 项 给 出 了 当 *, 这 些 变量 
各 自 单独 编码 时 的 码 长 ， 而 H(X) 给 出 了 当 鲜 作为 一 个 随机 向 量 ， 即 所 有 分 量 
都 编码 在 同一 个 代码 中 的 码 长 。 这 样 ， 互 信息 表明 了 对 整个 向 量 进行 编码 时 的 
码 长 与 对 单个 分 量 分 别 编码 时 的 码 长 的 长 度 差 值 。 一 般 而 言 ， 对 整个 向 量 编码 
会 得 到 更 好 的 代码 。 然而 ， 如 果 * 之 间 相 互 独立 ， 它 们 都 不 给 出 对 方 的 信息 ， 

这 时 我 们 只 需 对 各 个 变 : 量 分 别 单独 编码 ， 而 不 会 增加 码 长 。 互 信息 总 是 非 负 的 ， 
当 且 仅 当 变量 之 间 统 计 独 立时 为 零 ， 所 以 互信 息 最 小 也 是 衔 量 ICA 独立 性 的 重 
要 方法 。 


快速 固定 点 ICA 算法 


快速 固定 点 ICA 算法 又 称 为 FastICA 算法 ， 是 一 种 快速 寻 优 的 迭代 算法 。 我 
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们 通 帝 用 负 箭 来 度量 非 高 斯 性 ， 基 于 负 业 最 大 的 FastICA 算法 是 寻找 一 个 使 负 糊 
最 大 的 方向 ， 即 一 个 单位 长 度 向 量 ww， 使 得 对 应 的 投影 y = wz 具有 最 大 的 非 高 
斯 性 。 非 高 斯 性 在 这 里 是 利用 负 箭 的 近似 J(w'z) 来 度量 的 。 基 于 负 信 最 大 的 
FastICA 算法 结合 了 固定 点 迭代 的 优良 算法 特性 与 负 炉 良好 的 统计 特性 ， 因 此 是 
一 种 有 效 并 且 快 速 的 ICA 算法 。 

FastICA 算法 的 推导 如 下 : wz 的 近似 负 和 的 极 大 值 通常 在 已 | C(zwz)} 的 极 
值 点 处 取得 ,根据 拉 格 朗 日 条 件 ，E|G(w'z) | 在 约束 Ei(w'z) = wl =1 条 
件 下 的 极 值 是 在 使 下 式 梯度 为 零 的 点 处 取得 : 

Elzg(w'z)| +Bw=0 (10-23) 
式 中 , 6 =E|iwoXg(woX)|， 是 一 个 恒定 值 ， 其 中 w 是 优化 后 的 w 值 。 下 面 利用 
牛顿 法 来 求解 式 (10-23)， 用 表示 式 (10-23) 左 侧 的 部 分 ， 求 得 其 梯度 为 


-~ =Elzz'e'(w'z))} +BI (10-24) 


为 了 人 简化 矩阵 求 逆 ， 需 要 对 式 (10-24) 中 右 侧 的 第 一 项 进行 近似 。 因 为 数 

据 已 经 经 过 白化 处 理 , Elzz | =1, 所 以 Elzg (wz)|~Elz Ele'(wz)| = 

Eig'(w'z)11， 这 时 梯度 变 成 了 对 角 化 的 矩阵 ， 可 以 简单 地 求 逆 。 因 而 可 以 得 到 
近似 的 牛顿 迭代 算法 如 下 所 示 : 

w” =w-[Elzg(w'z)| -Bw]/[Elg'(w'z)| -B] (10-25) 

w=w*/|w” | (10-26) 

式 中 , w 为 w 的 新 值 ; 6=Elwzg(w'z)|; g("') 为 非 线 性 函数 。g(:) 常 选用 

下 列 函 数 : 
































gi(u) =tanh(au) (10-27) 
gy(u) =uexp( -ww /2) (10-28) 
= (10-29) 
经 过 简化 可 以 得 到 FastICA 算法 的 迭代 公式 为 
w” =Elzg(w'z)) -Elg'(w'z)}w (10-30) 


经 过 标准 化 得 到 w=w*/|w” |。 

FastICA 算法 的 基本 步骤 如 下 : 

1) 将 观测 数据 进行 中 心 化 使 其 均值 为 0。 

2) 然后 进行 白化 ， 得 到 z。 

3) 选择 一 个 具有 单位 范 数 的 初始 化 〈 可 随机 选取 ) 向 量 w。 

4) 更 新 w” =Elizg(w'z)) -Elieg'(w'z)}w， 孙 数 g 的 定义 见 式 (10-27) ~ 
式 (10-29)。 

5) 标准 化 w, w=w* /llw” |。 

6) 如 果 尚 未 收敛 ， 返 回 步 又 4。 

同 理 ， 可 以 推广 到 估计 多 个 分 量 的 情况 ,计算 步骤 如 下 : 
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1) 对 观测 数据 进行 中 心 化 ,使 它 的 均值 为 0。 

2) 对 数据 进行 白化 ，X 一 Z。 

3) 选择 需要 估计 的 分 量 的 个 数 m， 设 迭代 次 数 pel。 

4) 选择 一 个 初始 权 矢量 (随机 的 ) 杷 。 

5) 令 取 = 有 Ze( 防 2 -Eig'( 殉 2Z)|W， 非 线性 函数 g 的 选取 见 式 (10-27) ~ 
式 (10-29)。 





6) W, = DOW) 


7) 令 取 = w/w, 1。 

8) 假如 于, 不 收 僵 ,返回 步 又 5。 

9) 令 p=p+1， 如 果 p<m， 返 回 步骤 4。 

FastICA 算法 的 收敛 速度 快 ， 和 梯度 算法 不 同 ， 无 须 选 择 步 长 参数 ， 易 于 使 
用 。 它 的 性 能 能 够 通过 选择 适当 的 非 线 性 函数 g 来 优化 ， 并 且 能 够 利用 非 线性 
函数 g 直接 分 离 出 任何 非 高 斯 分 布 的 独立 分 量 ， 不 必 像 其 他 算法 一 样 需要 进行 
概率 密度 函数 的 估计 。 它 与 投影 追踪 相 类 似 ， 独 立 分 量 可 以 被 逐个 估计 出 来 ， 
因此 在 只 需要 估计 出 一 小 部 分 独立 分 量 的 情况 下 ， 可 以 减少 计算 量 。FastICA 算 
法 与 神经 网 络 算法 一 样 有 很 多 优点 ， 它 是 并 行 的 、 分 布 式 的 且 计 算 简单 ， 内 存 
要 求 很 少 。 


基于 ICA 的 图 像 特 征 级 融合 实现 


























10.5.1 ICA 的 预 处 理 


1. 中 心 化 

对 观测 数据 进行 中 心 化 处 理 是 ICA 算法 最 基本 的 预 处 理 步 又 ， 其 处 理 过 程 
是 把 每 个 观测 数据 (也 可 看 作 随 机 变量 ) X 减 去 其 均值 向 量 m=EIXI, 使 X 成 
为 零 均值 变量 。 

这 意味 着 源 信号 $ 的 估计 信号 了 也 同时 变 为 零 均 值 的 。 因 为 : 
E{S} =A-'EIX| (10-31) 

不 过 ， 通 过 这 样 的 中 心 化 预 处 理 ， 混 合 和 矩阵 仍 可 保持 不 变 ， 因 此 不 用 担心 
会 对 混合 矩阵 的 估计 有 影响 。 当 利用 零 均 值 矩 阵 对 混合 矩阵 与 独立 成 分 进行 估 
计 以 后 ， 被 减 掉 的 均值 还 可 以 通过 在 独立 成 分 上 加 4"E|X'| 而 简单 地 恢复 。 

2. 白化 

一 般 情 况 下 ， 我 们 所 获取 的 观测 数据 都 具有 相关 性 ， 而 白化 过 程 能 够 很 好 
地 去 除数 据 之 间 的 相关 ， 所 以 在 预 处 理 时 通常 都 会 对 数据 做 白化 处 理 ， 从 而 简 
化 后 续 独 立成 分 的 提取 过 程 。 而 且 与 没有 经 过 白化 处 理 的 数据 相 比 ， 白 化 后 的 
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数据 收敛 性 更 好 。 

一 个 零 均值 的 随机 向 量 z 的 各 分 量具 有 相同 的 单位 方差 且 相 互 不 相关 ， 我 们 
称 z 是 白化 的 ， 换 句 话 说 ，z 的 协 方差 矩阵 〈 包 括 相 关 和 矩阵 ) 是 单位 和 矩阵， 如 下 
所 示 : 








Elzz') =7 (10-32) 
进一步 来 说 ， 白 化 过 程 意味 着 我 们 将 观测 数据 向 量 x% 与 某 个 矩阵 V 线性 相 
得 





z= Vx (10-33) 
得 到 一 个 白化 的 新 问 量 z。 白 化 过 程 有 时 也 称 为 球面 化 。 

令 E=(el,…，e,) 是 以 协 方差 矩阵 C,=E|xx | 的 单位 范 数 特征 向 量 为 列 

的 和 矩阵,，D = diag(d,; ，…，d,) 是 以 C, 的 特征 值 为 对 角 元 素 的 对 角 和 矩阵 ， 则 线 
性 白化 变换 可 以 由 式 (10-34) 给 出 : 

V=D- 2E! (10-34) 

C, 可 以 用 特征 向 量 和 特征 值 和 矩阵 和 DD 写成 C, = EDE", 玉 为 正 交 和 矩阵 ， 满 

中 EE =EE=1, 则 Elzz =VE|ixx VV=D EEDE'DE "=1 成 立 , z 的 协 
方差 为 单位 矩阵 ， 所 以 z 是 白化 的 。 

式 (10-34) 中 的 线性 算 子 了 不 是 唯一 的 白化 矩阵 ， 容 易 看 到 ， 任 何 矩 阵 

UV(U 为 正 交 和 矩阵) 也 是 白化 矩阵 。 最 常用 的 白化 方法 是 利用 协 方差 矩阵 的 特征 

值 分 解 : 



































Elxx'| =EDE' (10-35) 
式 中 , 为 Eixx"| 的 特征 向 量 的 正 交 和 气 阵 ; D 为 相应 的 特征 向 量 的 对 角 和 矩阵 。 
这 样 ， 白 化 过 程 可 以 利用 下 面 的 白化 矩阵 来 实现 : 
V=ED- 2E' (10-36) 
和 矩阵 D-“ 只 需 通 过 简单 的 逐 元 素 开 方 计 算得 到 D7 = diag (di ，…， 
d;“) 。 这 样 得 到 的 白化 矩阵 记 为 Elxx 1- 或 C7 。 
白化 矢量 z 可 以 由 式 (10-37) 获得 : 
z=ED- Ex (10-37) 
对 信和 号 的 白化 可 以 得 到 一 个 新 的 混合 矩阵 4 ， 而 且 4 是 正 交 矩阵， 对 于 混 
合 矩 阵 4， 使 用 ICA 算法 需要 估计 nw 个 参数 ， 而 对 于 新 的 混合 矩阵 4， 由 于 它 
是 正 交 的 ， 只 需要 估计 n(n -1)/2 个 参数 ， 因 此 大 大 减少 了 ICA 的 工作 量 。 
10. 5.2 特征 融合 


x= (zi ，x;，*…，%,) 是 观测 数据 ， 经 过 中 心 化 处 理 得 到 矩阵 *' = (x!，xl!， 
x! ) ， 经 过 白化 处 理 后 得 到 和 矩阵 xz， 然后 根据 10. 4 节 有 令 述 的 FastICA 原理 及 步 又 求 
出 分 离 矩 阵 w， 通 过 式 (10-3) 计算 出 各 独立 分 量 y。 
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实验 结果 与 分 析 


实验 中 选取 人 、 汽 车 、 卡 车 和 飞机 四 类 目标 ， 而 我 们 还 没有 找到 此 方面 公 
开 的 标准 融合 识别 数据 库 ， 于 是 通过 自行 采集 红外 摄像 机 和 CCD 照相 机 的 源 图 
像 ， 并 且 对 源 图 像 进行 预 处 理 ， 建 立 了 上 述 四 类 目标 的 红外 与 可 见 光 融合 识别 
数据 库 ， 其 中 每 类 目标 有 90 组 红外 和 可 见 光 图 像 ， 尺 寸 均 为 256 像素 x256 像 
素 。 每 类 目标 的 第 1，3，5，…，89 幅 图 片 组 成 训练 集 , 第 2, 4,， 6，…，90 幅 
图 片 组 成 测试 集 。 数 据 库 的 部 分 图 像 如 图 10-1 所 示 ， 上 面 一 行为 可 见 光 ， 下面 
一 行为 红外 图 像 。 














| | | 


c) 卡车 目标 
10-1 可 见 与 红外 融合 识别 数据 库 部 分 图 像 
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d) 飞机 目标 
图 10-1 可 见 与 红外 融合 识 
首先 ， 对 可 见 光 和 红外 图 像 进 行 增强 、 
后 的 图 像 进行 特征 
不 变 和 矩 、 小 波 矩 和 Zernike 矩 。 


滤波 、 分 








提取 图 10-1 中 部 分 可 见 光 图 像 的 灰 度 共生 矩阵 特征 


曲线 如 图 10-2 所 示 。 
表 10-1 灰 度 共生 和 矩阵 特征 值 





提取 ， 提 取 的 图 像 特征 包括 灰 度 共生 和 矩阵、Hu 


别 数据 库 部 分 图 像 ( 续 ) 








值 见 表 10-1， 其 特有 





割 等 预 处 理 ， 然 后 对 处 理 
不 变 矩 、 仿 射 





征 值 

















能 量 (9 ) 炉 (gp,) 局 部 平稳 性 ( 9;) 惯性 矩 〈w4 ) 
人 (可见光 ) 0. 39606 1.38461 0. 77592 2. 89037 
汽车 (可见 光 ) 0. 25205 2. 25716 0.71144 4. 49152 
卡车 〈 可 见 光 ) 0. 44609 1. 53458 0.79103 3. 77675 
机 (可见光 ) 0. 47866 1.37811 0. 82633 3. 21457 
过 
| 
地 
0.0 0.5 1.0 1.5 2.0 2.5 3.0 
特征 数 
图 10-2 ” 灰 度 共生 和 矩阵 的 特征 值 曲线 图 
提取 图 10- 1 中 部 分 可 见 光 与 红外 图 像 的 Hu 不 变 矩 特征 值 见 表 10-2。 
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表 10-2 Hu 不 变 矩 特征 值 
ps Pe P7 Pg Po P10 P11l 
人 (可见 光 ) 2.63209 5.70381 10.3790 10.2179 20.5167 13.0699 21.9237 
汽车 (可见光 ) 2.61453 5.50907 11.9081 10.8593 22.2562 14.0645 22.8579 
卡车 (可见光 ) 2.50155 5.26340 10.4782 10.0683 21.0262 13.4318 20.3510 
机 (可见光 ) 2.73477 5.84439 10.2342 10.6508 22.4924 13.8035 21.0937 
人 (红外 ) 2.54830 5.68260 9.61936 10.9072 21.3638 14.2065 21.2853 
汽车 (红外) 2.68970 5.56961 9.56586 9.68588 19.3145 12.4722 20.2585 
卡车 (红外 ) 2.69772 5.51222 9.97093 10.2700 20.3916 13.0262 21.5395 
机 (红外) 2.80530 5.93502 9.40829 9.70917 19.2880 12.7031 19. 7948 
提取 图 10- 1 中 部 分 可 见 光 与 红外 图 像 的 仿 射 不 变 矩 特征 值 见 表 10-3。 
表 10-3 仿 射 不 变 矩 特征 值 
p12 P13 P15 Pi6 P17 
人 (可见光 ) 5. 29765 14. 6616 11. 1345 15. 5509 9. 5191 14. 3592 
汽车 (可见光 ) 5. 22568 15. 0976 11. 1388 15. 2136 9. 37162 14. 5834 
卡车 (可见光 ) 5. 06785 14. 6033 10. 787 14. 7399 9. 03077 14. 0719 
飞机 (可见 光 ) 5.74418 17. 2043 11. 8656 17. 0144 10. 353 16. 2898 
人 红外) 5. 30922 15. 1088 10. 979 15. 8743 9. 50448 14. 6908 
汽车 (红外) 5. 30278 14. 4494 11. 5489 11. 5489 9. 52838 14. 4513 
卡车 (红外 ) 5. 04291 13. 4845 11. 2943 14. 577 9. 10079 13. 6846 
《机 (红外) 5. 45966 15. 4499 11. 8045 15. 8372 9. 80844 15. 2156 
提取 图 10- 1 中 部 分 可 见 光 与 红外 图 像 的 小 波 不 变 矩 特征 值 见 表 10-4。 
表 10-4 小 波 不 变 矩 特征 值 
P18 P19 P20 ol Wo P23 P24 
人 (可见光 ) 11.0745 1.34946 1.84384 0.22468 0.15887 7.83086 0.95422 
汽车 (可见光) 12.585 2.68857 2.09533 0.44763 0.31652 8.89897 1.90111 
卡车 (可见光 ) 10. 1098 4.31766 1.68321 0.71886 0.50831 7.14868 3.05305 
《机 (可见光 ) 10.6718 3.06946 1.7768 0.51105 0.36137 7.54612 2.17044 
人 (红外 ) 9.23674 1.24159 1.53786 0.20672 0.14617 6.53136 0.87794 
汽车 (红外 ) 18.7286 1.12235 3.1182 0.18686 0.13213 0.13213 0. 79362 
卡车 (红外 ) 22. 0282 0.83549 3.66756 0.1391 0.09836 15.5763 0.59078 
& 机 (红外 ) 26.2281 1.17233 4.36681 0.19519 0.13802 18.546 0. 82897 
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提取 图 10- 1 中 部 分 可 见 光 与 红 外 图 像 的 Zernike 不 变 矩 特征 值 见 表 10-5。 
表 10-5 Zernike 不 变 矩 特征 值 





























P26 Bea P28 P29 P30 Pal 

人 可见光) 58. 0556 143. 715 0. 85359 2. 45495 0. 12537 0. 64544 
汽车 (可见 光 ) 80. 3201 230. 19 0. 95885 3.54656 0. 05969 0. 02158 
卡车 (可见 光 ) 61. 9834 178. 208 0. 79413 3. 03872 0. 08932 0. 00893 
飞机 (可见 光 ) 53. 1681 147.787 0.21789 0. 822242 0. 16815 0. 04079 
人 (红外 ) 49. 7788 126. 408 2. 85157 9. 59831 0. 30807 0. 16238 
汽车 (红外) 79. 5074 225. 56 0.36124 1. 20259 0. 19240 0. 02304 
卡车 (红外 ) 117. 976 344. 095 0. 63488 2.41283 0. 14489 0. 01845 
机 (红外) 127. 602 366. 791 0. 73832 2. 74678 0. 12007 0. 02838 


由 表 10-1 ~ 表 10-5 的 特征 数据 可 以 看 出 ， 四 种 特征 提取 方法 提取 的 特征 数 
据 都 在 不 同 程度 上 与 其 他 目标 有 区 别 ， 能 够 把 两 个 不 同 的 目标 区 分 开 ， 但 是 不 
同 目标 的 同一 特征 之 间 存 在 着 相似 性 和 宛 余 性 ， 这 样 在 识别 的 时 候 就 会 受到 干 
扰 ， 容 易 影 响 识别 结果 。 由 表 10-3 和 表 10-4 可 以 看 出 ， 提 取 的 仿 射 不 变 矩 和 小 
波 和 矩 特征 都 有 很 好 的 聚 类 性 ， 不 同 目标 之 间距 离 较 大 ， 区 分 性 较 强 。 灰 度 共生 
矩阵 也 有 很 好 的 聚 类 性 和 区 分 能 力 。 由 表 10-3 可 以 看 出 ，Hu 不 变 和 矩 随 着 矩 阶 数 
的 增加 ， 它 的 特征 值 有 增加 的 趋势 ， 计 算 量 也 随 之 增 大 。Zernike 算 随 着 阶 数 的 
增加 相似 性 也 随 之 增 大 ， 宛 余 信 息 增 多 。 

由 以 上 分 析 可 知 ， 如 果 只 是 单纯 地 把 目标 特征 串联 在 一 起 直接 用 于 识别 ， 
那么 就 会 受到 宛 余 特征 的 干扰 ,不 能 对 目标 有 很 好 的 区 分 效果 。 所 以 有 必要 
在 识别 之 前 对 特征 进行 融合 处 理 ， 也 可 以 称 作 特 征 选 择 ， 选 出 能 用 于 区 分 目标 
的 有 效 特 征 ， 降 低 特征 维 数 ， 去 除 匈 余 信息 ， 提 高 识别 效率 ， 同 时 也 减少 计 
算 量 。 

选取 可 见 光 图 像 的 灰 度 共 生 和 矩阵 、Hu 矩 和 红外 图 像 的 小 波 矩 特征 作为 实验 
数据 ， 实 验 在 MATLAB 7. 1 环境 中 进行 ， 表 10-6 为 FastICA 方法 提取 出 的 独立 
成 分 。 
























































表 10-6 对 特征 数据 提取 的 独立 成 分 
序 ”号 第 一 独立 成 分 ”第 二 独立 成 分 ”第 三 独立 成 分 ”第 四 独立 成 分 第 五 独立 成 分 














1 1.003771 0.763324 —0. 817523 一 1. 008725 0. 684751 
2 一 0. 876953 1. 005321 0. 756894 一 0. 947521 0. 894562 
3 1. 003881 一 0. 992227 1. 038942 0. 563624 一 0.774568 
4 一 1. 002177 0. 699915 一 0. 654983 0. 892145 0. 645829 
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( 续 ) 
序 ”号 第 一 独立 成 分 ”第 二 独立 成 分 ”第 三 独立 成 分 ”第 四 独立 成 分 第 五 独立 成 分 
5 1.011362 一 0. 995892 一 0. 875246 —0. 110547 1. 000895 
6 —1.002459 —1.005471 —1.015894 0. 985246 1. 002479 
7 0. 562757 1. 011563 0. 998514 0. 772549 一 0.789624 
8 —1.005646 —1.005409 0. 847569 —0. 578921 0. 994816 


最 后 ， 在 MATLAB 7. 1 环境 中 对 传统 的 串联 法 和 快速 固定 点 ICA 方法 进行 
融合 识别 实验 。 使 用 支持 向 量 机 方法 对 两 种 方法 的 融合 特征 进行 分 类 识别 ， 识 
别 率 见 表 10-7。 





表 10-7 算法 识别 率 比 较 








传统 串联 法 识别 率 ( % ) ICA 融合 法 识别 率 ( % ) 
人 员 目 标 86. 66 91. 55 
汽车 目标 84. 44 89. 55 
卡车 目标 82. 22 87. 38 
飞机 目标 85. 36 88. 45 


分 析 比 较 表 10-7 中 的 数据 可 以 看 出 ， 快 速 国 定点 ICA 方法 比 传统 的 串联 算 
法 识别 率 要 高 ， 有 更 好 的 性 能 。 


本 章 小 结 


本 章 主 要 研究 了 基于 ICA 的 特征 融合 方法 。 首 先前 述 了 ICA 的 定义 和 随机 
变量 独立 性 的 概念 ， 以 及 ICA 独立 性 的 度量 标准 ， 包 括 非 高 斯 性 、 峭 度 、 负 和 
和 互信 息 。 然 后 重点 介绍 了 快速 国定 点 ICA 算法 。 最 后 给 出 ICA 数据 预 处 理 的 
方法 ， 即 中 心 化 和 和 白化， 将 ICA 算法 应 用 到 红外 与 可 见 光 图 像 特征 级 融合 中 ， 
在 图 像 库 中 选取 了 四 种 图 像 ， 即 人 、 汽 车 、 卡 车 、 飞 机 ， 提 取 图 像 的 特征 包括 
灰 度 共生 和 抑 阵 、Hnu 不 变 矩 、 仿 射 不 变 矩 、 小 波 矩 和 Zernike。 
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第 1 但 一 一 一 一 一 一 一 一 
对 典型 相关 分 析 特 征 融合 方法 的 改进 





典型 相关 分 析 (Canonical Correlation Analysis, CCA) 是 研究 两 组 变量 之 间 
相关 关系 的 多 元 统计 分 析 方 法 ， 它 能 揭示 两 组 变量 之 间 的 内 在 联系 。CCA 的 目 
的 是 识别 并 量化 两 组 变量 之 间 的 联系 ， 将 两 组 变量 之 间 的 相关 关系 分 析 ， 转 化 
成 一 组 变量 的 线性 组 合 和 另 一 组 变量 的 线性 组 合 之 间 的 相关 关系 分 析 。CCA 的 
应 用 不 论 在 宏观 经 济 分 析 还 是 市 场 分 析 ， 不 论 在 农业 研究 还 是 医学 应 用 上 ， 还 
有 气象 学 、 管 理学 、 教 育 学 等 领域 都 取得 了 很 好 的 效果 ， 它 在 理论 研究 上 的 深 
刻意 义 也 受到 许多 统计 学 学 者 的 重视 。 从 某 种 意义 上 来 讲 多 元 回归 分 析 、 判 别 
分 析 或 者 对 应 分 析 等 许多 重要 的 数据 分 析 方 法 都 可 以 归结 为 CCA 的 一 种 特例 ， 
同时 它 还 是 偏 最 小 二 乘 回归 分 析 的 理论 基石 。 近 些 年 来 ，CCA 方法 被 一 些 学 者 
引入 到 图 像 处 理 、 信 号 处 理 、 计 算 机 视觉 、 语 音 识别 及 人 脸 识 别 等 领域 ， 并 取 
得 了 一 定 进 展 ， 同 时 也 成 为 一 种 新 的 特征 融合 技术 。 


CCA 的 基本 思想 


CCA 的 研究 焦点 是 一 组 变量 的 线性 组 合 和 男 一 组 变量 的 线性 组 合 之 间 的 相 
关 关 系 ， 借 助 具有 最 大 相关 性 的 线性 组 合 来 描述 两 组 随机 变量 之 间 的 关系 。 它 
的 基本 思想 与 主 成 分 分 析 非 常 类 似 ， 首 先 分 别 为 两 组 变量 寻找 一 个 线性 组 合 ， 
并 且 要 求 提取 出 的 一 对 线性 组 合 之 间 具 有 最 大 相关 性 ， 然 后 接着 选取 与 这 对 线 
性 组 合 最 不 相关 的 另外 一 对 线性 组 合 ， 并 且 要 求 选取 的 两 组 线性 组 合 之 间 的 相 
关系 数 最 大 ， 如 此 继续 下 去 ， 每 一 次 都 提取 一 对 具有 最 大 相关 性 且 与 前 面 的 组 
合 互 不 相关 的 线性 组 合 ， 直 到 把 原来 两 组 变量 之 间 的 相关 性 提取 完 为 止 。 被 选 
出 的 每 一 对 线性 组 合 都 被 称 为 典型 相关 变量 ， 它 们 的 相关 系数 被 称 为 典型 相关 
系数 。 典 型 相关 系数 度量 了 这 两 组 变量 之 间 联 系 的 强 弱 ， 而 选用 最 大 相关 系数 
则 是 通过 努力 将 两 组 变量 间 的 高 维 关系 浓缩 到 少数 几 对 典型 相关 变量 来 体现 。 
Sun 等 人 提出 的 特征 融合 方法 ， 就 是 以 CCA 方法 中 求 最 大 相关 系数 的 函数 为 准 
则 函数 ， 通 过 求解 最 大 特征 值 所 对 应 的 特征 向 量 来 确定 投影 轴 ， 两 组 向 量 通 过 
投影 轴 的 变换 得 到 具有 最 大 相关 性 的 典型 相关 变量 ， 即 为 要 求解 的 融合 特征 。 
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CCA 的 基本 原理 





11.2.1 CCA 的 数学 描述 


设 有 两 随机 变量 组 站 = [X ,XX ，…， XX] 和 了 =[Y，Y，…，Y,] 不 妨 
设 p<g。 
对 于 义 、Y， 设 第 一 组 变量 的 均 信和 协 方差 逢 阵 为 ECX) = ，cov(X) = 研 。 
第 二 组 变量 的 均值 和 协 方差 矩阵 为 (CY) =1，cov(Y) = 马 ,。 第 一 组 与 第 
二 组 变量 的 协 方差 失 了 为 wov(X，) = 区 = 芭 。 于 是 ,于 于 短 阵 =| > | 有 
值 向 量 
E(X) Hi 
-8 al sn) ||| ee 
则 协 方差 矩阵 为 


= E(Z -人 )(Z 一 人) 


(Cp+9g)(P+9) 


PR 一 AD) (XK-H) EX -1m)(Y | 


E(Y -pp)(X-H) EY -pp)(Y -1,)’ 


2 


2 
| (pxp) (pxg) 
2 


(gxp) 
要 研究 两 组 变量 X,，X,， 
先 分 别 作 两 组 变量 的 线 ' 性 组 合 ， 即 
人 三 本 大 | 十 把 是 十 
V=b,Y, +b,Y, + 
,4,)', b=(b,, 6b 


， 之 间 的 相关 关系 ， 首 
+a,X, =a'X 
+b,Y, =b'Y Ci 
式 中 ,a=(a, a ,5,) ' 为 任意 非 零 常 系数 向 量 ， 
则 可 得 
var(U) =a’'cov(X)a=a’'Sia 
var(V) =b'cov(Y)b =b'S,b 
cov(U,V) =a’cov(X,Y)b =a'Sb 
式 中 , U 与 V 称 为 典型 相关 变量 ,它们 之 间 的 相关 系数 p 称 为 典型 相关 系数 ， 
可 以 由 下 式 求 出 p: 
a'Sib 
Va Sua Vb Yb 
式 中 ,5 为 变量 对 的 协 方差 矩阵 ; 马 ; 为 变量 了 的 协 方差 矩阵 ;3 为 变量 于 与 





p=cov(U,V) = (11-3) 
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7 的 互 协 方差 矩阵 。 
11. 2.2 典型 相关 的 定义 及 导出 


设 有 两 组 相互 关联 的 随机 向 量 X =[X, XY,，…, 和 |] 和 Y=[Y, YY,,，…， 
Y, ] ，U,、VV; 分 别 为 在 两 组 变量 内 选取 的 几 个 具有 代表 性 的 综合 变量 ， 每 个 综合 
变量 都 是 原 变量 的 一 个 线性 组 合 ， 如 下 所 示 ; 
Li = 0 tasX, + +a;,X,=a'X (11-4) 
V,=baY, +hoY, + +h,Y, =b'Y (11-5) 
CCA 要 做 的 工作 就 是 要 找到 一 对 投影 方向 a、b， 使 得 投影 U, =a' 基 和 VV = 
b'Y 之 间 具 有 最 大 的 相关 性 ， 这 种 相关 被 称 为 典型 相关 。U, =a' 球 ，V, =b' 了 为 
了 对、 了 的 第 一 对 典型 相关 变量 ， 类 似 地 可 以 求 出 第 2 对 (U,, VV), 第 3 对 
(U,V)，…， 第 i 对 (U,，V,)， 而且 每 对 典型 相关 变量 之 间 互 不 相关 。 利 用 
这 些 典 型 相关 变量 就 可 以 反映 出 对 与 了 之 间 的 线性 相关 情况 。 
一 般 地 ， 投 影 方 向 a 与 b 通过 最 大 化 已 与 下 之 间 的 相关 系数 p 获得 。 
由 于 随机 变量 U、V 与 任意 常数 相 乘 并 不 改变 它们 之 间 的 相关 系数 ， 所 以 为 
防止 结果 重复 ， 令 








var(U) =var(a'X) =a’Sia=!1 
(11-6) 
var(V) =var(b'Y) =b'S,b=1 
所 以 
p=cov(a’X,b'’yY) =a'’cov(X,Y)b =a'S,b (11-7) 
于 是 求解 问题 即 为 在 式 (11-6) 约束 下 , 求 出 ae Rr, be R' 使 得 式 (11-7) 
达到 最 大 。 
根据 拉 格 朗 日 定理 可 将 问题 转化 为 求 
p(a,b) =a'5,b -a'Ba -1) -(b'5b -1) (11-8) 


的 极 大 值 ， 其 中 入 、v 是 拉 格 朗 日 乘 数 。 
根据 求 极 值 的 必要 条 件 ， 得 


9 
2 =B,b -ASia=0 











。 (11-9) 
人 =Ba -v3,b=0 
将 式 (11-9) 的 两 式 分别 左 乘 w' 与 多， 则 得 
a'’Ssb -Ada' id =0 
| (11-10) 
b'Sa-wwh'S,b=0 
即 有 
a’Sub =Aa'Sia=A 
| (11-11) 
D'S d= Db = 


128 


55 第 11 章 对 典型 相关 分 析 特 征 融合 方法 的 改进 


因为 (bp' 马 .a) =a'5,b， 所 以 A =v=a'3,b， 可 知 和 为 线性 组 合 U、V 的 相 
关系 数 。 用 A 代 蔡 式 中 的 wv， 则 式 〈11-11) 写 为 


Sub -Asa=0 
(11-12) 
Ba-AS,b=0 
假定 各 随机 变量 协 方差 矩阵 都 有 逆 和 矩阵 ， 则 由 式 (11-12) 中 的 第 二 式 可 得 
b = 35a (11-13) 
将 式 (11-13) 代入 式 (11-12) 的 第 一 式 , 得 
5 35a -ASiia=0 (11-14) 
即 有 
S53» Sa-A Sa=0 (11-15) 
同 理 ， 由 式 (11-12) 可 得 
SS Sub -A =0 (11-16) 
用 3 和 马 ,! 分 别 左 乘 式 (11-15) 和 式 (11-16), 得 
| -Aa=0 (11-17) 
3» DB Sb -Ab=0 
即 
3 - AT)a=0 
| 2 全 22 全 2 ,a (11-18) 
(3 5B 3 -AT)b=0 








由 上 述 分 析 可 知 ，3713, 5 马 / 和 马 ' 马 ,51 ,具有 相同 的 特征 根 和 A?，a、 
b 是 其 特征 根 对 应 的 特征 向 量 。 特 征 根 入 即 为 我 们 要 求 的 典型 相关 系数 ，w、28 
为 典型 相关 问 量 。 

由 于 我 们 所 求 的 是 最 大 特征 根 及 其 对 应 的 特征 向 量 ， 因 此 ， 最 大 特征 根 A1 
4 特征 向 量 w = (ou ，aw，…，ay,)' 和 b= (511，0b1,，…，01,) 就 是 所 求 












































对 应 

的 典型 变量 的 系数 向 量 ， 即 可 得 
U, =a' X=anX, t+avKR, + +a,y, (11-19) 
Vi =bY=b0Y, + bY, + + bY, (11-20) 





式 中 ,，U,、V 被 称 为 第 一 对 典型 变量 ， 最 大 特征 根 的 平方 根 A, 为 两 典型 变量 的 
相关 系数 ， 称 为 第 一 典型 相关 系数 。 
第 二 对 典型 变量 UV, =w' 和 和 公 =b' 了 需要 满足 如 下 约束 条 件 : 
D(U,) =asSia,=1 
D(V,) =b’5,b, =1 
另外 ， 为 了 有 效 测 量 两 组 变量 之 间 的 相关 信息 ， 第 二 对 典型 变量 应 不 再 包 
含 第 一 对 典型 变量 中 已 有 的 信息 ， 因 此 ， 需 要 增加 约束 条 件 ; 





(11-21) 
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cov(U',U,) =cov(a’,X,a’X) =a'Sia, =0 
cov(Vi,V,) =cov(b’Y,b’Y) =b’S,b, =0 
A 和, 为 第 二 典型 相关 系数 。 
如 此 下 去 ， 依 次 可 求 出 第 > 对 典型 变量 : U, =a'X 和 VV,=b'Y， 其 系数 向 量 
a, 和 及 分别 为 矩阵 3 3 2 和 2 32 3 的 第 特征 根 A; 对 应 的 特征 向 
量 ，A, 即 为 第 " 典型 相关 系数 。 
综 上 所 述 ， 计 算 典 型 相关 变量 和 典型 相关 系数 就 是 要 求解 矩阵 A 和 B 的 特 
征 根 及 相应 的 特征 向 量 。 若 矩阵 纪 ' 马 ,555' 马 ,和 叉 5' 马 ,i' 马 ,的 秩 为 r， 则 共有 
r 对 典型 相关 变量 ,个 典型 相关 系数 。 


11.2.3 CCA 的 基本 性 质 


设 4=3 3335 ZN 也 =235 3，， 可 以 证 明 , A 和 B 的 特征 癌 量 和 
特征 根 具 有 如 下 性 质 : 

1) 4 和 如 具有 相同 的 非 零 特 征 根 ， 且 所 有 特征 根 非 负 。 

2) 4 和 B 的 特征 根 均 在 0~1 之 间 。 

3) 设 4 和 B 的 非 零 特征 根 为 Ai 宇 A? 宇 … 宇 A?2, r=rank(A) =rank(B)， 
a 中 ,a 中，…， a 中 为 4 对 应 于 如， 如 ，…，X? 的 特征 向 量 ， 5 ，52 ，…， 
00 为 下 对 应 于 时，A，…，Az 的 特征 向 量 ， 即 典型 变量 。 

典型 变量 具有 如 下 性 质 ; 

(1) 同一 组 的 典型 变量 互 不 相关 

设 x、y 的 第 i 对 典型 变量 为 

W000 v= YT, 2 mm (11-23) 


(11-22) 






































则 有 
Vw) =a’Sia; =1,Vv,) =050;=1,i=1,2,°,m 
puisu) =cov(ui,u) =a) 5a; =0,1 <izj<m 
plVi,V;) =cov(vi,0) =0;50; =0,1<izj<m (11-24) 
式 (11-24) 表明 * 组 成 的 第 一 组 典型 变量 w ，u,，…， wu 互 不 相关 ， 且 均 
有 相同 的 方差 1; 由 y 组 成 的 第 二 组 典型 变量 w ，v,，…， vw 也 互 不 相关 ， 且 也 
均 有 相同 的 方差 1。 
(2) 不 同 组 的 典型 变量 之 间 的 相关 性 
plui,v;) =pi,i=1,2,°,m 
PC) =cov( u,v;) =cov(arx,by) =arcov(x,y)b; =a’ 51,0, 
0 


* 


ef ed 下 还 _ 工 
= Qt! (2172322220)) =Di0t; 人 
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=piaiai =0 1 <izj<m (11-25) 
式 (11-25) 表明 不 同 组 的 任意 两 个 典型 变量 ， 当 i =j 时 ， 相 关系 数 为 p,， 
当 i 考 j 时 是 彼此 不 相关 的 ， 记 


Ui vi 

U, 72 
ZL 三 人 一 

Ui Di 


则 上 述 性 质 可 用 矩阵 表示 为 


T(z) =1,,V(v) =1,,cov(u,v) =cov(v,u) =A 











或 如 下 所 示 : 
1 :Pi 
1 Pp» 
uy (1 A 1 | pw 
V ws eal : i (11-26) 
2 人 了 pi :1 
Pp2 1 
pa 1 (2m) x (2m) 
式 中 ， 
pi 
ps 
A = diag(pi ,PpP2 "Pn) = 
Pm 
(3) 原始 变量 与 典型 变量 之 间 的 相关 系数 

Ql 21 Qim 

(48 [08 [08 
A=(ai,a,, ,a,) = > - ~ 
Cpl Up2 Q pm 
bl 0 bi 

b b b 

Bsab bl > 
bi 0 0 
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Ol O12 ee Oy | Op+l Clip+2 sa CT 

Oo21 072 i O02, ! O27,p+1 Ol,p+2 和 Oy p+g 

ee De PP PD 
Op+1,1l Ob+1;2 OD | 0 CE 人 
OF 1 Ob +2,2 | OD | O42,p+1 CD Os Fo ptg 
Oo 





古人 
cov(x,u) =cov(x,A'x) =514 
cov(x,v) =cov(x,B'’y) = 了 有 
cov(y,u) =cov(y,A'x) = 4 
cov(y,v) =cov(y,B'y) =5,B 


典型 相关 变量 和 相关 系数 的 求解 步骤 


1. 计算 原始 数据 的 协 方差 矩阵 
设 有 两 组 变量 , 外 代 表 第 一 组 的 p 个 变量 , 了 代表 第 二 组 的 g 个 变量 ， 不 妨 


假设 p<g, 令 





X， 

X, 
X 2 2 

ee 上 | | (11-27) 

J ¥ 5 :| 5 
Y, (gxp) ' (gxg) 

Y, 

> 





式 中 ,1 =cov( 于 ); 二 ,= cov( 了 ) ; 了 ,=cov( 于 ， 了 ) = 多。 为 第 一 组 变量 的 
协 方差 矩阵 ， 忆 ;为 第 二 组 变量 的 协 方差 矩阵 ， 写 ,和 马 , 为 两 组 变量 之 间 的 协 方 
差 和 矩阵， 并 且 有 3 = 2， 。 
2. 计算 两 个 矩阵 4 和 B 
A=50 SDS (11-28) 
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万 三 2 3 Ss (11-29) 

式 中 , 4 为 p xp 阶 和 矩阵 ; B 为 q xg 阶 和 矩阵 。 

3. 计算 4 和 B 的 特征 向 量 和 特征 根 

A1 宇 A 三 … 宇 A, 为 矩阵 A 和 B 的 非 零 特 征 根 ，a, ，a,;，…， a, 为 4 对 应 于 
A? ，A 和 2? ，…，A? 的 特征 向 量 ,，b,，b,;,，…,b, 为 B 对 应 于 A?，A?,…，A? 的 特 
征 向 量 ， 则 最 大 特征 根 A1 对 应 的 特征 向 量 w = (@y, ap, …， 41,)' 和 5b, = 
(bi ，5bi,，… ,5b,,) 就 是 所 求 的 第 一 对 典型 变量 的 系数 向 量 ， 第 一 对 典型 相关 
变量 如 下 所 示 : 












































LN =aiX =aX, GDR + +a,X, (11-30) 
Vi=biY=DbY, +hbyY, + +b,Y, (11-31) 


依次 还 可 以 求 出 7 个 典型 相关 系数 和 7 对 典型 相关 变量 。 


基于 CCA 改进 算法 的 图 像 特征 级 融合 实现 








11.4.1 改进 算法 的 关键 技术 


孙权 森 等 提出 将 CCA 方法 用 于 特征 融合 ， 获 得 了 优 于 品行 融合 和 并 行 融合 
的 结果 ,但 是 该 方法 是 基于 向 量 形式 的 特征 融合 方法 ， 应 用 时 必须 将 二 维 图 像 
和 矩阵 转换 为 一 维 向 量 形式 ， 通 常 转换 后 的 数据 量 非 常 大 ， 这 样 在 应 用 CCA 进行 
特征 融合 时 的 运算 量 会 很 大 ， 运 行 时 间 长 。 同 时 ， 如 果 没 有 足够 的 训练 样本 还 
会 导致 高 维 小 样本 问题 ， 使 得 CCA 算法 无 法 正常 求解 。 本 章 研 究 红 外 图 像 与 可 
见 光 图 像 的 特征 级 融合 ， 提 出 基于 PCA- CCA 的 图 像 特征 融合 方法 ， 首 先 利用 
PCA 方法 对 样本 特征 进行 降 维 ， 然 后 在 低 维 空间 中 利用 CCA 方法 进行 特征 融合 。 


11.4.2 特征 融合 过 程 


本 章 基 于 PCA- CCA 方法 进行 可 见 光 图 像 和 红外 图 像 特征 级 融合 的 具体 算法 
流程 如 下 . 

1) 提取 目标 图 像 的 特征 。 对 待 识别 的 目标 图 像 进行 预 处 理 ， 然 后 对 可 见 光 
图 像 提 取 灰 度 共 生 和 矩阵 、Hu 不 变 矩 和 小 波 矩 特征 ， 对 红外 图 像 提取 仿 射 不 变 
和 矩 、 小 波 矩 和 Zernike 不 变 矩 特征 。 

2) 利用 PCA 方法 对 可 见 光 图 像 的 特征 向 量 进行 降 维 处 理 ， 提 取出 向 量 处 。 

3) 利用 PCA 方法 对 红外 图 像 的 特征 向 量 进行 降 维 处 理 ， 提 取出 向 量 了 。 

4) 将 样本 空间 内 的 样本 特征 向 量 进行 归 一 化 处 理 。 

5) 基于 CCA 方法 的 特征 融合 。 首 先 计 算出 与 了 中 样本 的 总 协 方差 矩阵 
1、 马 ,及 互 协 方差 矩阵 马 ,; 然后 计算 3 3 2 和 马 ,' 马 ,3 矩阵 的 非 零 




























































































133 


智能 信息 融合 与 目标 识别 方法 3 





村 征 值 A 三 A 三 … 宇 和 三 … 宇 0， 以 及 对 应 的 特征 问 量 a 和 4b; 最 后 由 U, =a'X 
和 VV =b'Y 分 别 求 出 典型 变量 ， 如 下 所 示 : 

U;,=aiX, +asX, + :a,X, =aX (11-32) 

V;=baY, +hboY, + +b,Y, =b'Y (11-33) 

如 果 第 一 组 典型 变量 (U,，V) 不 足以 代表 两 组 原始 变量 的 信息 ， 那 么 继 

续 求 出 第 二 组 (U,，V,), 第 三 组 (UU,, 玉 ),，…, 第 i 组 (U,，V,)， 然后 将 


线性 变换 
V b) \Y 


作为 投影 后 的 组 合 特征 用 于 分 类 。 
完整 的 基于 PCA- CCA 的 特征 融合 识别 过 程 如 图 11-1 所 示 。 


对 图 像 做 预 处 理 

















建立 可 见 光 | | 建立 红外 图 
图 像样 本 库 像样 本 库 










对 图 像 做 预 处 理 





提取 图 像 特 征 


利用 PCA 算 法 对 特征 降 维 
利用 CCA 算 法 做 特征 融合 






利用 PCA 算 法 对 特征 降 维 
利用 CCA 算 法 做 特征 融合 
利用 支持 向 量 机 方法 做 分 类 识别 
输出 识别 结果 


11-1 基于 PCA-CCA 特征 融合 识别 过 程 的 流程 图 








实验 结果 与 分 析 


为 了 衡量 本 章 提出 的 PCA- CCA 方法 的 有 效 性 ， 将 提取 的 可 见 光 与 红外 图 像 
的 特征 组 成 特征 向 量 ， 首 先 利 用 PCA 方法 对 标准 化 后 的 特征 向 量 进行 降 维 ， 然 
后 再 利用 CCA 方法 求 出 融合 特征 ， 最 后 利用 支持 向 量 机 方法 对 融合 特征 进行 识 




















别 分 类 。 
图 11-2 和 图 11-3 分 别 为 可 见 光 和 红外 图 像 的 主 成 分 Pareto 图 和 累计 贡献 
率 图 。 


利用 CCA 方法 对 由 PCA 提取 的 特征 向 量 忆 和 了 进行 融合 处 理 ， 首 先 计算 出 
于 与 Y 中 样本 的 总 协 方差 矩阵 对 | 、 忆 ,及 互 协 方差 矩阵 3,，， 再 计算 出 矩阵 4 
( 即 3 2 元 ) 和 移 阵 吾 ( 即 35 马 3 3 ) ， 见 表 11-1 和 表 11-2。 
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100 100% 1 an 3 
g0 -90% 
> 09 3 
gor -de0% 
70 J7o% | J 
ol - J60% 基 
| 50r / -50% 07 了 
所 
a -40% 
机 a | 
301 30% 
20r| 20% 于 J 
10r | | 10% 
0 [| | |0, 04 - 。 4 1 , 1 ， 
3 4 5 | 0 2 Te 18 20 
主 成 分 按 贡献 率 排序 的 特征 
图 11-2 ”可见光 图 像 各 主 成 分 及 其 累计 贡献 率 图 
T T T T T 1 | 
9 -90% 
8 ja% ] 
70 70% 
人 六 0.8 ] 
名 60 用 -60% 时 
50 -50% | J 
4 塌 07 
站 如 -40% 3 
3 30% 0 | 
20 -20% 
05 ] 
10 10% 
3 a BR Ci 18 20 
主 成 分 按 贡献 率 排序 的 特征 
图 11-3 红外 图 像 各 主 成 分 及 其 累计 贡献 率 图 
表 11-1 CCA 方法 计算 出 的 矩阵 4 
1 2 3 4 3 6 7 8 9 
0.6528 —0.1068 -0.0450 -0.0019 0.0352 -0.0241 -0.0219 0. 0007 一 0. 0024 
一 0. 1343 0. 7605 -0.0310 -0.0561 -0.0621 0. 0046 一 0. 0002 0. 0206 0. 0038 
-0. 1066 -0.0583 0. 7990 0. 0304 -0.0478 -0.0467 -0.0406 -0.0480 0. 0392 
—0.0101 —0.2441 0.0702 0. 6189 —0.0563 -0.0444 0.0541 0. 1404 0. 0280 
0. 3016 -0.4237 -0.1731 -0.0882 0.6456 0.0575 0.0626 —0.0413 一 0. 0365 
一 0. 3458 0.0528 -0.2836 -0.1166 0. 0963 0. 8255 一 0. 0994 0. 0141 0. 1353 
-0.4994 -0.0037 -0.3908 0. 2252 0. 1663 —0.1577 0.7741 —0.0582 0. 2047 
0.0212 0. 5057 —0.6252 0. 7906 一 0. 1483 0. 0303 一 0. 0787 0.5138 一 0. 0777 
一 0. 1002 0. 1228 0. 6789 0. 2096 一 0. 1745 0. 3860 0. 3683 一 0. 1034 0. 3410 
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表 11-2 CCA 方法 计算 出 的 矩阵 B 

















1 2 3 4 S 6 7 8 9 
0. 8688 一 0. 0686 -0.0935 -0.0356 0.0726 一 0. 0006 -0.0079 0. 0135 一 0. 0001 
一 0. 0800 0. 7202 0. 0084 0. 0895 0. 1325 0.0368 0.0191 0.0246 0.0217 
—0.2455 0.0189 0. 6485 —0.2582 0. 0866 一 0.0845  —0.0646 0. 0218 0. 0065 
—0.1186 0.2560 一 0.3278 0. 6132 -0.0406 -0.1167 -0.0355 -0.0356 一 0. 0147 
0. 3777 0.5911 0. 1714 一 0. 0633 0. 4306 0. 0398 -0.0527 -0.0437 0. 0398 
一 0. 0047 0. 2634 —0.2685  —0.2924 0. 0961 0. 3353 一 0. 0807 0. 0183 一 0. 0344 
一 0. 0887 0. 1834 -0.2759 -0.1194 -0.1136 -0.1084 0. 8215 0. 0857 0. 0480 
0. 3638 0. 5688 0. 2242 —0.2878 -0.2268 0.0593 0. 2060 0.7742 一 0. 1217 
一 0. 0039 0. 6104 0. 0813 一 0. 1452 0.2513 —0.1352 0. 1406 —0.1481 0.7188 

分 别 求 出 上 述 和 矩阵 A 和 和 矩 阵 B 的 特征 值 和 特征 向 量 a 和 疝 量 b5， 见 表 11-3 

和 表 11-4。 
表 11-3 ”典型 相关 向 量 和 矩阵 v 

1 色 3 4 急 6 又 8 9 
0. 0286 0. 0079 0. 3214 0. 0084 一 0.0128 0.0530 一 0. 1738 0. 0162 一 0. 0729 
0. 0099 一 0. 0550 0. 1432 一 0. 1858 0. 1591 0.0226 0.2646 —0.0565 0.0545 
0. 0644 0. 0887 0. 0475 一 0.2088 -0.1409 -0.0833 0. 0665 0. 3767 0. 2607 
0. 0469 一 0. 3247 0. 0037 —0.1435 -0.3520 0.0972 0. 1376 一 0. 0402 0. 2870 
-0.0969 -0.0359 -0.1823 -0.8092 0.0337 -0.1117 -0.5846 -0.1919 一 0. 4184 
0. 2418 0. 0133 0. 1330 0. 0074 一 0.3883 ”一 0.2398 0.2510 一 0. 6398 一 0. 6584 
0. 3356 0. 2624 0. 2079 0. 0779 0. 3789 一 0. 5388 0. 0676 一 0. 3645 0. 3558 
—0.1318 0. 9018 —0.0405 -0.4504 -0.4162 0. 5281 0.5175 —0.5167 0. 1694 
—0.8916 0. 0028 0. 8821 0. 1935 —0.4084  —0.5840 0. 4464 一 0. 0842 0. 2785 

表 11-4 典型 相关 向 量 和 矩阵 2 

1 及 3 4 S 6 7 8 9 
—0.0596 -0.1054 -0.1054 0. 4688 0. 0338 0. 0797 一 0. 0225 ”一 0. 0097 0. 0049 
0. 0708 一 0. 2289 0. 0010 -0.0270 -0.1062 -0.0223 -0.0242 0. 2495 0. 1793 
-0.3207 -0.0942 0.2160 —0.0619 0.0186 0.2122 一 0. 1038 0. 1054 0. 1963 
一 0. 3722 0. 1530 —0.0545 -0.1511 -0.1335 0. 2926 -0.0166 -0.0467 —0. 2061 
0. 1333 0.7212 0. 1300 0.4125 -0.0335 -0.0699 -0.1624 0.3145 0. 2339 
—0.7786 0.0432 一 0. 0075 0. 2258 -0. 1249 -0.6911 0. 1421 0. 0567 0. 0737 
一 0. 2632 0. 0774 -0.3813 -0.6953 0.3596 —0.1354 -0.3099 0. 2349 0. 2930 
0.0635 0.6014 -0.7053 -0.2182 -0.4721 0. 5018 0. 4944 0.2357 0.6965 
一 0. 2295 0. 1202 0. 2949 0. 0255 0.7749 0.3313 0.7751 0. 8435 0. 5057 


5 第 11 章 ， 对 典型 相关 分 析 特 征 融合 方 法 的 改进 


利用 CCA 方法 求 出 的 前 5 对 典型 相关 变量 见 表 11-5。 
表 11-5 典型 相关 变量 


0. 0144 -0.0502 0.3351 —0.0358 -0.1707 -0.5692 -0.3243 -0.4597 一 0. 0749 





—0.0060 0.1349 0. 2558 —0.2690 0.2014 0. 0742 0. 2026 0. 7320 0. 3657 








一 0.0649 0.0485 0. 2320 0. 2554 -0.3724 -0.5860 0.3166 0. 1508 0. 2479 
—0.0832 0.1591 0.2474 —0.0974 0.2981 0.0356 —0.2665 -0.2957 0.7403 








-0.1330 0.2026 0. 0509 0. 1053 —0.4476 0.1922 0.0517 0. 3962 0. 3417 
—0.0263 0.1856 —0.1155 0.2429 0. 2215 -0.0107 -0.0251 -0.6730 0. 7898 








0. 0752 0. 0321 -0.1182 0.1380 —0.1585 -0.3402 -0.7644 0.7493 一 0. 8287 


0. 2630 -0.0151 -0.0347 -0.0847 0.2314 0. 1267 -0. 3900 -0.1224 0. 0143 








-0.0125 0.1555 —0.1378 0.3441 0.0330 —0.5751 0.3703 一 0. 4068 一 0. 3992 
0. 0446 -0. 1401 0.0245 -0.1762 -0.0442 -0.1649 0.4745 一 0. 6230 1.0226 


涉 


最 后 ， 在 MATLAB 7. 1 环境 中 使 用 改进 的 CCA 方法 进行 融合 识别 实验 ， 并 
使 用 支持 向 量 机 方法 对 融合 特征 进行 分 类 识别 ， 识 别 率 见 表 11-6。 
表 11-6 三 种 方法 识别 率 及 运行 时 间 比 较 











融合 方法 平均 识别 率 ( % ) 平均 运行 时 间 /s 
PCA 89 1. 844 
CCA 90 0. 438 
PCA-CCA 95 0. 631 


分 析 比 较 表 11-6 中 数据 可 以 看 出 ，PCA- CCA 方法 比 单独 的 PCA 方法 和 
CCA 方法 识别 率 要 高 ， 且 运行 时 间 较 短 。 


本 章 小 结 


本 章 研 究 了 基于 CCA 的 特征 融合 算法 并 对 算法 做 出 改进 。 首 先 介绍 了 CCA 
的 原理 和 求解 过 程 ， 然 后 对 CCA 进行 改进 ， 引 入 PCA 算法 先 对 原始 特征 向 量 降 
维 ， 解决 了 CCA 算法 运算 量 大 ， 运 行 时 间 长 ， 并 且 有 可 能 出 现 高 维 小 样本 的 情 
况 ， 提 高 了 算法 的 效率 ， 有 效 地 提高 了 目标 识别 率 。 最 后 对 三 种 图 像 特征 级 融 
合算 法 做 了 比较 分 析 。 
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目前 关于 目标 识别 分 类 的 方法 有 许多 ， 比 如 支持 向 量 机 以 及 在 它 基 础 上 发 
展 出 来 的 其 他 分 类 算法 ， 如 模糊 支持 向 量 机 、 先 进 支 持 向 量 机 等 ， 还 有 一 些 基 
于 图 像 中 目标 结构 进行 分 类 的 方法 ， 除 此 以 外 ， 现 在 比较 热门 的 人 工 智 能 ， 在 
分 类 算法 中 ， 神 经 网 络 也 是 图 像 处 理 的 重要 发 展 领 域 ， 因 为 神经 网 络 模 仿 的 是 
人 类 的 大 脑 神经 ， 所 以 在 自主 学 习 、 泛 化 能 力 和 高 度 并 行 性 等 方面 更 出 色 ， 能 
够 很 好 地 去 解决 非 线性 复杂 目标 识别 问题 ， 所 以 具有 很 高 的 研究 价值 和 应 用 前 
景 ， 所 以 在 本 章 中 将 主要 利用 其 作为 识别 算法 来 研究 和 验证 。 

目前 在 神经 网 络 领 域 经 常 被 使 用 的 网 络 主要 有 径 向 基 郴 数 (RBF) 神经 网 
络 、 反 向 传播 (BP) 神经 网 络 和 Elman 网 络 等 多 种 网 络 。 其 中 在 理论 研究 中 ， 
我 们 通常 使 用 得 最 多 的 是 前 两 种 神经 网 络 。BP 神经 网 络 属于 监督 学 习 ， 一 般 都 
被 应 用 于 多 层 感知 进行 训练 ， 而 在 实际 工业 应 用 中 ，BP 神经 网 络 虽然 本 身 存 在 
一 些 不 足 ， 但 是 它 是 被 应 用 最 多 的 网 络 。 在 非 连 续 函数 中 ，BP 神经 网 络 使 得 多 
层 前 向 神经 网 络 中 的 权重 有 非常 好 的 调整 效果 。 在 BP 神经 网 络 中 ， 它 能 够 容纳 
大 量 的 输入 与 输出 之 间 的 映射 关系 ， 最 重要 的 是 它 具 有 强大 的 逼近 能 力 。 所 以 
本 章 选 择 BP 神经 网 络 来 作为 系统 最 终 的 识别 算法 进行 研究 和 验证 。 
通过 理论 分 析 和 查阅 文献 ， 我 们 知道 BP 神经 网 络 对 任何 复杂 的 神经 网 络 具 
有 非常 强大 的 非 线 性 映射 能 力 ， 如 果 内 部 机 制 很 复杂 ， 它 是 不 二 之 选 ， 因 为 本 
音 中 目标 识别 是 一 个 非常 复杂 的 机 制 系统 ， 所 以 选择 它 来 做 识别 算法 。 另 外 它 
的 映射 条 件 没有 那么 苛刻 ， 具 备 非常 良好 的 学 习 能 力 ， 非常 强 的 鲁 棒 性 ， 且 易 
用 计算 机 操作 处 理 实现 。 除 上 面 非常 好 的 优点 外 ， 它 也 存在 许多 不 足 的 地 方 ， 
最 重要 的 就 是 BP 神经 网 络 的 学 习 速 度 慢 ， 这 也 是 目前 研究 的 重点 ; 其 次 它 本 刁 
存在 容易 陷入 局 部 极 值 这 样 的 问题 ， 这 样 学 习 训 练 的 效果 会 非常 差 ， 而 且 受 参 
数 设 置 的 影响 比较 大 ， 如 果 设 置 不 同 的 参数 ， 那 么 它 得 到 结果 也 都 不 会 相同 。 
所 以 本 章 根据 上 述 BP 神经 网 络 存在 的 不 足 之 处 对 其 进行 优化 ， 目 前 因为 其 参数 
可 优化 性 比较 强 ， 所 以 利用 目前 一 些 比较 好 的 优化 算法 对 其 进行 融合 ， 来 提高 
BP 神经 网 络 的 学 习 效率 和 收敛 速度 ， 这 样 通 过 局 部 参数 优化 来 到 全 局 优化 的 目 
的 。 本 章 选择 粒子 群 来 对 其 参数 进行 优化 处 理 ， 然 后 再 应 用 于 多 特征 信息 融合 
目标 识别 中 去 。 
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因为 本 书 前 面 已 经 详细 介绍 了 利用 多 传 感 图 像 信息 采集 ， 再 对 采集 到 的 图 
像 进行 有 效 的 预 处 理 ， 主 要 包括 对 图 像 的 去 品 和 图 像 增强 ， 然 后 通过 各 种 特征 
提取 算法 将 图 像 中 的 目标 特征 提取 ， 然 后 利用 特征 融合 算法 将 获得 的 目标 特征 
数据 进行 有 效 可 靠 的 融合 处 理 ， 本 章 将 进行 目标 识别 ， 所 以 下 面 主要 对 基于 粒 
子 群 去 优化 神经 网 络 进行 论述 和 实验 验证 其 有 效 性 。 


BP 神经 网 络 


BP 神经 网 络 是 由 Rumelhart 和 McCelland 等 科学 家 于 1986 年 正式 提出 来 的 ， 
它 属 于 遵循 误差 逆 传 播 算法 进行 训练 的 多 层 前 馈 网 络 ， 根 据 目 前 我 们 所 知道 的 
人 工 神经 网 络 的 许多 模型 ， 在 这 么 多 模型 中 被 使 用 最 多 的 一 种 模型 就 是 BP 神经 
网 络 模 型 ，BP 神经 网 络 对 输入 和 输出 的 映射 关系 学 习 能 力 比 较 强 大 ， 而 且 它 能 
存储 这 样 的 映射 关系 ， 并 且 不 需要 任何 事前 对 映射 描述 的 数学 公式 。BP 神经 网 
络 主要 运用 的 学 习 方 法 是 最 速 下 降 法 ,通过 利用 网 络 中 的 方向 传播 来 达到 对 网 
络 中 的 权 值 和 靖 值 不 停 调整 的 目的 ， 这 样 最 终 能 够 使 得 该 网 络 中 的 误差 平方 和 
值 达 到 最 小 。 神 经 网 络 分 为 前 向 型 和 后 向 型 ， 而 BP 神经 网 络 属于 前 向 型 ， 并 且 
它 本 身 具 备 监督 学 习 方 式 ， 在 一 些 分 类 处 理 中 的 表现 是 非常 优秀 的 ， 现 在 已 经 
被 广泛 地 应 用 于 模式 识别 中 。 


12. 1.1 BP 网 络 模型 


BP 神经 网 络 主要 将 复杂 的 分 类 进行 非 线 性 映射 到 高 维 空间 ， 这 样 使 得 比 直 
接 映射 到 低 维 空间 更 有 可 能 是 线性 可 分 ， 简 而 言 之 就 是 在 低 维 空间 不 一 定 是 线 
性 可 分 ， 但 是 映射 到 高 维 空间 上 就 可 能 存在 线性 可 分 。 通 过 对 BP 神经 网 络 结构 
分 析 ， 我 们 主要 将 其 内 部 结构 分 为 三 层 : 输入 层 ， 隐 层 ， 输 出 层 。 如 图 12-1 所 
示 ， 输 入 层 主要 由 一 些 感知 单元 组 成 ， 好 比 我 们 的 咕 觉 就 是 通过 串 觉 感知 细 
胞 将 外 界 的 信息 传达 到 我 们 的 神经 ; 第 二 层 是 隐 层 ， 它 是 主要 包含 一 些 激励 函 
数 ， 如 阔 值 函数 、$S 形 函 数 、 阶 路 函数 等 ， 主 要 负责 对 输入 信号 响应 ， 然 后 进行 
转换 输出 ， 所 以 它 具 有 局 部 逼近 的 能 力 ; 第 三 层 输出 层 是 线性 的 ， 主 要 是 为 输 
入 层 的 输入 向 量 提 供 相应 的 响应 输出 。 其 中 如 何 能 够 设计 一 个 好 的 BP 神经 网 
络 ， 关 键 在 于 如 何 设计 隐 层 中 节点 的 个 数 。 


12. 1.2 BP 神经 网 络 结构 


在 BP 神经 网 络 的 结构 中 ， 它 主要 是 由 三 部 分 组 成 ， 即 输入 层 、 隐 层 和 输出 
层 ， 每 层 中 都 包含 了 大 量 的 神经 元 ， 该 神经 元 模型 可 以 用 图 12- 1 来 描述 。 
根据 图 12-1 可 知 ， 其 中 x ，x,，…，% 表示 神经 元 的 输入 量 ，w, ，w，， 
















































































139 


智能 信息 融合 与 目标 识别 方法 3 














图 12-1 BP 神经 网 络 结构 图 


w, 表示 网 络 结构 层 之 间 的 权 值 ， 简 单 地 说 就 是 层 之 间 连 接 的 强 弱 ; 输入 量 对 应 
权 值 的 和 为 > wx; ， 它 代表 神经 元 的 激活 值 ， 当 这 个 值 大 于 神经 元 自身 的 阔 值 


9 时 ， 此 时 神经 网 络 就 可 以 学 习 训练 了 ; 0 表示 神经 元 最 终 的 输出 量 。 那 么 根据 
上 述 介绍 ， 此 时 输出 量 就 可 以 用 下 面 的 公式 来 表示 ， 即 


0 =/ (Tun -0 (12-1) 


在 式 (12-1) 中 ， 聘 数 f 代 表 神 经 元 内 输入 与 输出 之 间 的 关系 ， 一 般 称 这 样 
的 函数 为 激活 函数 或 者 是 输出 泡 数 。 在 神经 元 内 ， 我 们 可 以 用 下 来 作为 神经 元 
中 相应 的 权 值 量 ， 用 表示 神经 元 的 输入 量 ， 它 们 可 以 分 别 用 下 式 来 表示 : 








W= (12-2) 


区 = (12-3) 





我 们 可 以 通过 对 激活 值 进行 假设 ， 即 net = WK， 类 似 于 我 们 对 神经 元 进 
行 外 部 刺激 来 影响 神经 元 内 部 反应 。 此 时 式 (12-1) 可 简化 为 f( net -0)。 
在 实际 使 用 中 ， 存 在 很 多 类 型 的 激活 函数 ,但 是 一 般 常用 的 有 这 么 几 种 ， 即 
S(Sigmoid) 形 函 数 、 阅 值 函 数 和 双 面 正切 函数 ， 它 们 的 函数 图 如 图 12-2 
所 示 。 

闷 值 函数 ， 该 函数 公式 如 下 : 
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a) 阀 值 郴 数 b) S 形 函数 c) 双 面 正切 函数 
图 12-2 常用 激活 函数 图 





和 
f(x) = 人 (12-4) 
S 形 函 数 ， 该 函数 公式 如 下 : 
His) = 一 1 (12-5) 
双 面 正切 函数 ， 该 函数 公式 如 下 : 
f(x) s = cl 





在 对 BP 神经 网 络 的 隐 层 了 a 一 般 都 是 选用 S 形 消 数 ， 
因为 其 可 导 ， 容 错 性 比较 强 ， 而 且 它 还 能 对 信号 的 增益 有 非常 好 的 控制 能 
在 式 (12-5) 中 ， 如 果 参 数 比较 小 ， 这 时 获取 的 函数 值 就 比较 大 ， 相 应 的 增 
也 会 很 大 ; 反之 就 是 增益 比较 小 ， 此 时 神经 网 络 不 容易 进入 饱和 状态 

BP 神经 网 络 主要 是 通过 有 监督 的 学 习 方式 来 对 样本 进行 训练 ， 神 经 网 络 通 
过 训练 好 的 模型 ， 那 么 网 络 中 的 神经 元 可 以 通过 相应 的 激活 值 ， 然 后 从 输入 层 
通过 中 间 的 隐 层 ， 最 后 通过 输出 层 进行 输出 ， 此 时 通过 输出 层 中 的 神经 元 来 进 
行 相 应 的 网 络 响应 来 实现 输出 。 然 后 ， 通 过 对 比 实际 网 络 中 的 误差 与 期 望 误差 
进行 对 比 ， 如 果 达 不 到 期 望 误差 值 ， 此 时 会 通过 输出 层 到 隐 层 ， 然 后 回 到 原始 
输入 层 进 行 修改 相应 的 权 值 ， 依 次 循环 上 述 的 过 程 直到 达到 期 望 的 误差 值 或 者 
循环 的 最 大 次 数 才 会 停止 。 我 们 称 这 样 的 修改 权 值 过 程 为 “误差 道 传 播 "。BP 
神经 网 络 正 是 通过 这 样 的 误差 逆 传 播 来 提高 网 络 的 学 习 效 率 和 正确 输入 响应 的 

。 在 整个 神经 网 络 运行 的 过 程 中 主要 存在 两 种 信号 : 一 种 是 误差 信号 ， 即 
网 络 中 的 实际 输出 和 期 望 输 出 之 间 的 误差 值 ， 男 一 种 是 工作 信和 号， 即 在 输入 端 
进行 相应 的 输入 时 ， 最 后 输出 端 也 会 有 相应 的 输出 响应 信号 。 

另外 BP 神经 网 络 还 具有 很 强 的 映射 能 力 ， 假 设 存在 一 组 输入 向 量 x， 并 有 
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x eR"， 那 么 x = (x6，%1，…，%,_1)"， 此 时 如 果 网 络 中 隐 层 的 神经 元 一 共有 n， 
这 里 可 以 用 x' 来 表示 输入 向 量 对 应 隐 层 中 的 输出 ， 那 么 x? = (x)，x!，…， 
x _1)"， 假 设 在 输出 层 中 神经 元 总 数 为 m， 且 yeR”, y= (yo, yi yi.1) 
在 网 络 中 的 输入 层 到 隐 层 之 间 的 权 值 可 以 用 w, 来 表示 ， 相 应 的 阔 值 可 记 为 9,， 
隐 层 到 输出 层 之 间 的 权 值 可 用 ww 来 表示 ， 相 应 的 阔 值 可 用 b 来 表示 。 此 时 网 络 
中 各 层 相应 的 输出 可 表示 如 下 ; 


力 三 了 
和 =/ (Su = 7 =0,1,2,.,m -1 
i=0 
(12-7) 





yi | Si -中 l=0,1,2,.…,m—1 
式 (12-7) 可 以 看 成 是 维 向 m 维 空间 进行 映射 。 
12. 1. 3 ”BP 神经 网 络 训练 学 习 


在 BP 层 神 经 元 训练 的 过 程 中 ， 主 要 通过 对 vi 不 停 地 进行 有 效 的 调整 ， 来 帮 
助 神经 元 达到 权 值 训练 的 目的 ， 最 后 使 得 wj 与 u, 无 限 接近 。 当 调整 到 一 个 极限 
值 时 ， 此 时 BP 神经 元 的 输出 是 1， 但 是 条 件 是 在 BP 神经 网 络 隐 层 中 的 神经 元 
必须 处 于 w; = uw 时 ， 神 经 元 的 输出 1 才 会 有 效 。 当 神经 网 络 内 部 的 训练 已 经 全 
部 结束 时 ， 输 入 层 有 向 量 信号 输入 到 此 神经 网 络 中 ， 此 时 在 BP 神经 网 络 中 ， 它 
里 面 的 所 有 神经 元 ， 不 管 是 输入 层 、 输 出 层 还 是 隐 层 都 会 根据 输入 向 量 与 其 相 
应 的 权 值 向 量 对 比 ， 如 果 互 相 比较 接近 就 对 其 进行 有 效 的 结果 输出 。 如 果 在 相 
应 的 对 比 过 程 中 出 现 与 权 值 向 量 的 差距 比较 大 ， 这 时 神经 网 络 的 输出 是 个 非常 
小 的 数 ， 反 之 就 是 上 述 提 到 的 输出 为 1。 因 为 BP 神经 网 络 中 的 输出 层 可 以 为 线 
性 ， 若 此 时 输出 层 的 神经 元 是 线性 函数 ， 则 此 时 的 神经 网 络 输出 是 经 过 加 权 并 
求 和 作为 输出 的 结果 。 通 过 理论 分 析 和 推导 得 出 的 结论 是 ， 在 BP 内 部 只 要 存在 
所 需要 的 神经 元 个 数 ， 此 时 BP 神经 网 络 能 够 精确 地 无 限 台 近 存在 的 任何 有 效 
函数 。 

BP 神经 网 络 中 还 必须 选取 合适 的 参数 ， 其 中 隐 层 中 神经 元 的 个 数 确定 是 主 
要 参数 问题 ， 其 中 主要 对 神经 网 络 中 的 层 数 、 神 经 元 总 数 、 设 置 初始 值 、 学 习 
速率 和 期 望 误差 等 进行 分 析 。 在 3 层 BP 神经 网 络 中 ,根据 式 (12-7) 可 知 ， 它 
是 可 以 将 n 维 向 m 维 空间 进行 映射 这样 就 能 够 对 任何 函数 进行 交 近 。 在 隐 层 
中 的 神经 元 ， 因 为 神经 元 的 数量 直接 影响 了 训练 的 效果 ， 进 而 影响 最 终 的 识别 
结果 。 但 是 当 在 隐 层 的 神经 元 数量 过 大 的 时 候 ， 这 时 候 网 络 是 非常 复杂 的 ， 这 
样 会 导致 训练 时 间 过 长 。 一 般 都 是 通过 在 一 定 范围 内 进行 随机 取 数 的 方式 来 解 
决 ， 当 然 也 可 以 通过 以 下 公式 来 作为 理论 参考 ， 即 

r= Vm+n+j (12-8) 
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式 中 ,7 代表 隐 层 中 神经 元 的 总 数 ，m 代表 输入 层 中 神经 元 的 个 数 ，n 代表 输出 


层 中 神经 元 的 个 数 ，j 一 般 在 1 ~ 10 中 取 整 


除 上 述 以 外 ， 我 们 还 得 对 权 值 进行 相应 的 初始 化 ， 它 的 大 小 直接 关系 到 学 
习 的 时 间 长 短 ， 一 般 取 值 是 在 ( -1, 1) 或 者 [ -2.4/n,2.4/n] 中 的 随机 数 ， 








其 中 表示 输入 特征 量 的 数目 。 为 了 保证 系统 能 











入 科 十 对 箱 信 的 标本 进 得 学 习 


和 训练 ， 学 习 率 一 般 在 0.01 ~0. 8 之 间 进 行 取 值 。 最 后 就 是 设置 期 望 误差 ， 这 是 


决定 神经 网 络 学 习 闪 代 的 一 个 重要 条 件 。 








图 12-3 是 BP 神经 网 络 学 训练 习 训练 的 具体 流程 图 。 


初始 化 BP 神经 网 络 结构 
给 定 输入 样本 及 相 
应 的 期 望 输出 











计算 隐 层 和 输 
出 层 的 输出 值 
计算 网 络 输 出 误差 忆 
迭代 次 数 加 1 


网 络 输出 
误差 有 < 误差 阐 值 e 
或 者 当前 迭代 数 
un>NUM? 





















值 和 阔 值 


图 12-3 ”BP 神经 网 络 训练 流程 图 
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12.1.4 ”BP 神经 网 络 主要 特点 


BP 神经 网 络 主要 特点 如 下 : 

1) BP 神经 网 络 属于 前 向 型 网 络 ， 也 称 为 反馈 神经 网 络 ， 所 谓 前 向 型 网 络 
就 是 在 该 神经 网 络 中 ， 各 神经 元 在 接受 前 一 层 的 输入 后 ， 然 后 将 其 在 输出 给 
自己 的 下 一 层 ， 但 是 就 是 没有 反馈 。 其 中 它们 的 节点 分 为 两 大 类 ， 即 输入 节 
点 和 计算 节点 ， 其 中 每 个 计算 节点 能 够 拥有 许多 不 同 的 输入 ， 但 是 只 能 存在 
一 个 输出 ， 其 中 它们 的 输入 和 输出 节点 都 是 与 外 界 相连 而 成 的 ， 中 间 层 就 是 
隐 层 。 

2) BP 神经 网 络 拥有 强大 的 推广 能 力 ， 因 为 我 们 获得 的 目标 样本 数据 中 ， 
它们 之 间 肯 定 会 存在 一 定 的 相似 性 ， 所 以 它 可 以 根据 这 种 相似 性 来 处 理 数 据 间 
相似 性 问题 。 正 常情 况 下 我 们 获取 的 数据 一 般 多 少 会 包含 一 定 的 噪声 ， 也 有 可 
能 对 目标 某 些 特征 描述 存在 缺陷 ， 此 时 通过 利用 该 网 络 的 推广 能 力 就 能 够 对 失 
真 的 样本 数据 进行 相应 的 恢复 处 理 ， 因 为 现在 所 用 的 识别 模式 都 是 实时 传输 的 ， 
所 以 利用 该 方法 能 够 有 效 地 解决 实时 传输 中 图 像 的 失真 问题 ,这 也 是 它 被 广泛 
使 用 的 一 个 原因 。 

3) BP 神经 网 络 拥有 自 组 织 和 自学 能 力 ， 它 的 自学 能 力主 要 体现 在 对 样本 
数据 处 理 的 过 程 中 。 通 过 这 样 的 自学 习 能 力 能 够 主动 地 利用 输入 样本 数据 中 的 
特性 和 相应 的 规律 ， 来 加 强 学 习 效 果 。 这 种 学 习 方 式 不 需要 相应 的 先 验 知识 ， 
不 需要 我 们 在 处 理 过 程 中 假设 具有 先 验 的 函数 ， 而 且 不 需要 通过 对 样本 中 的 空 
间 分 布 进行 状态 假设 ， 只 是 非常 简单 智能 通过 样本 的 数据 对 其 进行 相关 关系 的 
学 习 ， 这 样 大 大 增加 了 智能 性 。 所 以 如 果 在 不 了 解 具 体 样 本 数据 的 情况 下 ， 利 
用 这 种 学 习 能 够 帮助 解决 识别 中 未 知 目标 的 问题 。 

4) BP 神经 网 络 拥有 对 数据 并 行 处 理 的 能 力 ， 这 种 并 行 处 理 能 力 类 似 于 计 
算 机 中 的 多 线程 处 理 方式 ， 这 样 的 好 处 就 是 提高 了 神经 网 络 的 学 习 效率 。 

5) BP 神经 网 络 中 隐 层 存在 许多 种 不 同 的 激励 函数 。 一 般 用 得 比较 多 的 是 
FE 线性 激励 函数 ， 有 中 心 限 幅 函数 、 阶 路 函数 和 S 型 函数 ， 其 中 S 型 函数 是 用 
得 最 多 的 激励 函数 ， 也 是 目前 对 其 研究 改进 和 优化 的 热点 。 

BP 神经 网 络 的 缺点 是 ， 算 法 优化 程度 不 是 很 深 ， 它 作为 一 种 局 部 搜索 的 算 
法 ， 它 的 权 值 是 通过 局 部 改善 来 进行 相应 的 调整 ， 这 个 时 候 就 会 出 现 该 网 络 自 
动 地 陷 进 局 部 极 小 化 这 样 的 问题 ， 那 么 它 的 权 值 就 进行 相应 的 收敛 ， 直 至 达到 
极 小 的 对 应 点 ， 这 样 的 后 果 就 是 训练 不 能 成 功 ; 其 次 BP 神经 网 络 还 存在 收敛 速 
度 过 慢 这 样 的 问题 ， 因 为 在 它 的 算法 里 ， 主 要 使 用 的 是 梯度 下 降 法 ， 由 于 其 主 
要 针对 复杂 的 目标 进行 优化 ， 所 以 花费 的 时 间 会 比较 长 ， 这 样 就 导致 了 其 算法 
效率 不 高 ; 另外 还 存在 对 样本 过 度 依赖 的 问题 ， 这 点 在 RBF 神经 网 络 中 同样 存 
在 ， 因 为 神经 网 络 的 函数 的 逼近 主要 与 它 本 身 的 推广 能 力 和 学 习 样 本 的 能 力 有 
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关 ， 这 样 导 致 的 结果 就 是 训练 样本 选取 的 问题 。 
改进 的 BP 神经 网 络 


在 本 章 中 对 BP 神经 网 络 的 改进 ， 主 要 是 通过 假设 动量 因子 和 自 适 应 学 习 速 
率 改善 BP 网 络 自身 收敛 速度 慢 和 易 陷入 局 部 极 小 问题 ， 然 后 再 利用 粒子 群 对 其 
改进 的 BP 神经 网 络 进行 优化 处 理 。 采 用 附加 动量 主要 是 来 调整 其 权 值 ， 利 用 该 
方法 是 因为 它 将 误差 关联 到 了 梯度 上 ， 它 是 基于 反问 传播 将 调整 后 的 所 有 权 值 
与 调整 前 的 权 值 进行 正比 ， 同 时 利用 反 向 传播 来 产生 新 的 权 值 。 改 进 后 权 值 调 
整 公式 如 下 : 























Aw(n+1)=(1+nb) nb +n0Aw,(n) (12-9) 

Ac (n+1)=(1-n0)nbE,+nbAc,(k) (12-10) 
式 中 ,i 表示 隐 层 数 ; j 表示 隐 层 中 包含 的 节点 数 ; n 表示 网 络 中 训练 的 次 数 ; 
Aw 代表 权 值 的 变化 增 量 ; 7 代表 网 络 的 学 习 速 率 ; E 表示 网 络 的 误差 ; nb 为 动 
量 因子 。 

由 上 述 对 BP 神经 网 络 的 分 析 和 介绍 可 知 ， 如 何 选 择 学 习 效 率 对 训练 的 速度 
有 很 大 的 影响 ， 所 以 在 网 络 中 通过 深 加 自 适应 堂 习 委 法 来 自动 调节 学 习 效 率 ， 
这 样 就 能 相应 准确 地 选择 学 习 效 率 ， 它 主要 是 通过 对 修改 后 的 权 值 进行 检查 ， 
如 果 该 权 值 降低 了 ， 网 络 中 的 误差 就 会 相应 地 对 其 添加 一 个 量 ， 相 反 就 会 降低 
学 习 效 率 ， 该 调整 公式 如 下 所 示 : 

1.05nm(k) SSE(k +1) <SSE(Ek) 









































nk+1)=40.7n(k) SSE(E+1) >1.04SSE(E) (12-11) 
(Ek) 其 他 
SSE = > (yi—y) (i=1,2,.,n) (12-12) 


上 述 对 BP 神经 网 络 本 身 进行 改进 ， 因为 改进 本 身 还 存在 一 定 的 局 限 性 ， 所 
以 接 下 来 还 会 利用 粒子 群 优化 算法 对 改进 后 的 BP 神经 网 络 进一步 进行 优化 ， 这 
样 会 使 得 该 网 络 更 不 容易 出 现 陷 和 人 局 部 极 小 或 者 收敛 过 慢 等 不 稳定 的 情况 。 


PSO 算法 的 基本 原理 和 理论 基础 








12.3.1 PSO 算法 的 基本 原理 


粒子 群 优 化 (Particle Swarm Optimization ，PSO) 是 由 Kennedy 和 Eberhart 等 
人 在 1995 年 首次 提出 来 的 方法 ， 此 算法 被 提出 后 就 立即 吸引 了 广大 国内 外 学 者 
对 其 进行 研究 ， 到 现在 已 经 有 了 多 种 改进 增强 版 本 ,下 面 将 对 其 原理 进行 详细 
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概述 。 

粒子 群 优化 算法 来 源 于 动物 群体 的 生活 行为 ， 通 过 对 乌 群 飞行 活动 的 分 析 ， 
发 现 鸟 在 飞行 时 只 要 跟着 它 附 近 的 邻居 鸟 就 行 了 ,但 是 在 空中 我 们 能 够 注意 到 
整个 鸟 群 就 像 绕 着 某 个 中 心 在 进行 有 方向 、 有 序 的 飞行 活动 。 简 单 地 说 就 是 一 
些 全 局 行为 都 是 由 一 些 简单 而 不 复杂 的 准则 通过 它们 之 间 相 互 作用 产生 的 ， 这 
就 是 群 智能 的 主要 意义 。 本 节 中 PSO 算法 主要 是 源 于 乌 群 在 群体 疯 食 中 的 行为 ， 
一 群 鸟 在 空中 寻找 食物 的 时 候 ， 为 了 能 够 最 快 地 找到 食物 ， 它 们 会 对 含有 食物 
区 域内 的 鸟 群 进行 搜寻 ， 这 样 就 能 找到 食物 。PSO 算法 就 是 通过 上 述 对 马 类 习 
性 的 研究 产生 的 ， 并 被 用 于 解决 一 些 优化 问题 。PS0O 的 基本 思想 就 是 先 在 相应 
的 空间 找到 一 颗粒 子 的 位 置 ， 此 时 这 颗粒 子 不 是 静止 而 是 运动 的 ， 它 们 会 不 断 
改变 自己 的 状态 ， 它 们 有 自己 的 速度 ， 此 外 还 需要 一 个 目标 函数 对 相应 的 适应 
值 进行 决策 。 当 找到 这 些 粒 子 后 ， 它 们 自身 是 有 记忆 的 ， 而 且 它 们 会 在 相应 的 
解 空间 中 自动 地 去 找 当前 它们 觉得 最 优 的 粒子 ， 如 果 此 时 它们 找到 了 一 个 更 好 
解 ， 接 下 来 会 基于 这 个 解 再 寻找 下 一 个 更 好 解 。 在 和 迭代 过 程 中 ， 粒 子 会 利用 空 
间 中 两 个 所 谓 的 “ 极 值 ”来 对 自己 当前 位 置 进行 更 新 处 理 ， 这 两 个 “ 极 值 ” 可 
以 分 为 个 体 极 值 点 Pr 和 全 局 极 值 点 gu， 个 体 极 值 点 是 粒子 本 身 搜寻 到 的 最 好 
解 ， 全 局 极 值 点 是 该 粒子 所 在 群 的 极 值 点 ， 粒 子 就 是 根据 这 两 个 极 值 点 来 调整 
自身 的 搜寻 方向 和 速度 ， 使 之 达到 最 佳 状 态 。 

假设 存在 一 个 大 小 为 D 维 的 搜寻 空间 ， 而 且 在 此 空间 中 存在 一 个 大 小 为 N 
的 粒子 群 ， 那 么 这 个 D 维 空 间 向 量 与 空间 中 粒子 群 的 关系 就 可 表示 如 下 (下 式 
中 的 i 都 表示 群 中 对 应 的 粒子 的 位 置 ) : 

















































































































X= (x Xa Rp) i=1,2,.,N (12-13) 
在 群 空间 中 ， 其 中 粒子 对 应 的 速度 如 下 : 
也 =(o ,v2 0p), i=1,2,.…,3 (12-14) 
粒子 本 身 通过 搜寻 得 到 的 最 好 解 即 为 上 述 提 到 的 个 体 极 值 ， 其 可 定义 为 
Phe = (Pa spPa, ,Pip), i=1,2,°,N (12-15) 
该 粒子 所 在 群 得 到 的 极 值 点 即 是 上 述 提 到 的 全 局 极 值 ， 其 可 定义 为 
Shou = (Pa Pa, ,Pap) (12-16) 





当 粒 子 在 得 到 上 述 相应 的 两 个 极 值 时 ， 此 时 粒子 会 对 自身 相应 的 速度 与 位 
置 做 出 有 效 的 更 新 ， 它 的 更 新 表达 式 如 下 : 

via =W Vi + eri(pia — Xia) + CTs (Paa -Xia) (12-17) 

Nis =Niy + Diy (12-18) 

式 中 ,，c, 和 c 是 更 新 过 程 中 的 学 习 因 子 ; r, 和 7, 表示 在 [0, 1] 区 间 内 的 随机 

数 ; wv 在 物理 学 中 可 定义 为 “动量 (momentum)”， 即 粒子 对 自身 速度 控制 的 

能 ; cir(pa -xa) 是 粒子 群 中 粒子 的 局 部 “ 认 知 《( cognition)”， 即 粒子 对 历史 
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的 记载 ， 通 过 这 样 的 记载 来 达到 向 最 佳 位 置 进行 有 效 的 逼近 ; cm (pw -xa) 描 
述 在 粒子 群 中 粒子 间 相 互 作 用 的 记载 ， 体 现 了 粒子 自身 能 够 向 粒子 群 进行 有 效 
逼近 的 能 力 。 


12.3.2 PSO 算法 的 基本 流程 


PSO 算法 的 流程 步 又 如 下 : 

1) 初始 化 : 在 大 小 为 D 维 的 空间 中 进行 随机 处 理 ， 然 后 产生 相应 粒子 的 位 
置 和 速度 。 

2) 粒子 的 评价 : 对 在 D 维 空间 中 的 粒子 进行 相应 的 适应 值 fj[i] 有 效 
计算 。 

3) 位 置 最 优 更 新 : 通过 上 述 获取 的 适应 值 ， 用 其 来 和 粒子 本 身 个 体 极 值 进 
行 相应 大 小 的 比较 ， 如 果 比 p,(i) 好 ， 则 进行 当前 粒子 的 位 置 调 换 ， 然 后 再 通 
过 比较 适应 值 和 全 局 极 值 ， 如 果 F [让 > gyea(i) ， 就 用 全 局 极 值 点 的 位 置 更 换 为 
粒子 的 位 置 。 

4) 粒子 自 映 更 新 : 通过 式 (12-17) 和 式 (12-18) 对 粒子 自身 的 速度 和 位 
置 进行 有 效 的 更 新 处 理 。 

5) 停止 依据 : 通过 上 述 进行 不 断 循环 ， 一 般 只 要 满足 相应 的 最 佳 适应 值 和 
最 大 的 循环 迭代 数 就 能 达到 停止 循环 的 条 件 。 


PSO 优化 改进 的 BP 神经 网 络 


在 BP 神经 网 络 中 主要 通过 网 络 参 数 来 决定 它 的 性 能 的 优 劣 ， 即 权 值 和 节 
点 装 值 这 两 个 参数 值 。 如 果 是 利用 传统 的 BP 神经 网 络 ， 如 何 确定 这 两 个 参数 
对 神经 网 络 学 习 的 影响 是 非常 巨大 的 ， 而 且 关 键 是 只 能 通过 在 局 部 空间 中 寻 
找 有 效 的 最 优 解 这 样 的 方式 来 确定 整个 神经 网 络 中 的 参数 。 所 以 这 完全 不 是 
我 们 想 要 的 最 佳 解 ， 最 直接 的 一 个 后 果 就 是 这 些 参数 设置 不 合理 将 引发 函数 
通 近 性 能 下 降 ， 更 或 者 引起 神经 网 络 发 散 ， 所 以 在 本 章 我 们 分 析 了 PSO 算法 的 
原理 和 优点 后 ， 选 择 其 来 对 传统 的 BP 神经 网 络 进行 学 习 优化 ， 主 要 优化 神经 网 
络 中 权 值 和 冰 值 这 些 参数 ， 这 些 参 数 在 PSO 中 主要 是 用 来 表示 粒子 的 空间 具体 
位 置 。 

12.4.1 PSO 优化 问题 分 析 

在 对 BP 神经 网 络 基 轴 数 参 数 优化 之 前 ， 我 们 需要 对 下 面 儿 个 问题 进行 分 析 
和 解决: 

(1) 确定 对 最 优 激活 函数 中 参数 的 评价 标准 

在 神经 网 络 中 对 其 内 部 进行 数据 训练 主要 是 想 要 通过 获得 的 相应 网 络 参数 
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可 以 使 该 神经 网 络 中 的 平均 误差 2 次 方 值 的 和 达到 最 小 ， 其 计算 公式 为 

D = FE) (12-19) 
式 中 ， 用 参数 P 来 表示 训练 样本 的 总 数 ; j=1, 2,，…, p; i=1, 2, …, m, 参 
数 m 代表 的 是 输出 层 在 神经 网 络 中 的 节点 数 ;， yw 表示 节点 输出 值 ， 即 在 总 样本 
中 第 j 个 样本 通过 输出 层 中 的 第 i 个 节点 输出 ; 7 表示 节点 预计 输出 值 ， 即 在 总 
样本 中 第 j 个 样本 通过 输出 层 中 的 第 i 个 节点 预计 输出 。 

下 面 给 出 激活 函数 中 参数 评价 的 标准 ， 即 先 激活 函数 中 参数 进行 假设 ， 即 参 
数 P=(c，ol， cc，o，…，c，ot) ， 在 参数 集中 ,利用 co = (ch， cy，…， ci,)， 
i=1，2，…, k， 来 表示 节点 中 S 型 激活 函数 对 应 的 中 心 ， 其 中 用 大 表示 在 隐 层 
中 的 节点 数 ， 用 m et de eal 
来 表示 第 i 个 节点 的 S 型 激活 函数 对 应 的 宽度 ， 然 后 对 输入 样本 的 特征 向 量 进行 
训练 ， 再 对 其 进行 归 一 ee nd 
n。 根 据 上 述 参 数 假设 ,通过 假设 的 参数 P 来 对 BP 神经 网 络 进行 有 效 可 靠 的 组 

de 在 激活 函数 参数 的 有 效 区 域内 如 果 对 于 其 

一 个 相关 的 参数 P 而 言 ， 都 会 存在 D(P" ) <D(P)， 则 此 时 P* 就 是 我 们 所 要 
a ann 

(2) 粒子 群 中 粒子 初始 化 

假设 在 目标 空间 中 粒子 群 的 大 小 为 N， 那 么 可 以 通过 这 个 空间 来 随机 产生 一 
个 相应 的 粒子 位 置 矩 阵 式 和 对 应 的 速度 矩阵 了， 它们 两 者 可 表示 如 下 : 




















| : Sl a : . 
Ni =NXuin + (Kiax — Xnin) Xrand( ) (12-20) 
Vi = — Vax + 2 oy (12-21) 
式 中 , M =k(n+1)， 其 中 用 大 来 表示 在 神经 网 络 隐 层 的 节 点 数 ， 输 入 层 中 相应 
输入 特征 向 量 的 维 数 用 ”来 表示 ; |x; |i=1, 2,…, N; j=1, 2, …, | 指 

















的 是 在 空间 粒子 的 相应 位 置 回 量 所 对 应 的 分 量 ,表示 粒子 在 间 的 位 置 ， 7 表 
en (Ka, Xa, ee 与 BP 神经 网 络 核 函 数 中 的 参数 进行 对 
应 ; xs =1, x =0, 0<x;<10; fv 1i=1, 2, …, N; j=1, 2, …, M| 指 
的 是 在 空 ee et ph pa , 工 表示 粒子 在 空间 的 速 Bere ge 
示 相 应 维 数 分 量 。 

(3) 确定 粒子 的 适应 度 函 数 

适应 度 函 数 决定 了 粒子 在 空间 中 相应 位 置 的 优 劣 度量 ， 如 果 适 应 度 函 数 的 
值 越 小 ， 那 么 粒子 的 位 置 就 越 不 好 ， 具 体 定义 为 
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| 


四 F .二 a 
Wness™ nes = + D(x ,Xs , Xin) 


式 (12-22) 代表 的 是 在 粒子 群 中 第 i 个 粒子 对 应 的 适应 度 函 数值 ， 其 中 当 
核 函数 的 参数 是 (x, ，xs，…，xiw) 的 时 候 ， 此 时 神经 网 络 的 平均 误差 平方 和 


就 是 D(x， Xp ""'), Xi ) o 
12.4.2 PSO 优化 算法 流程 
下 面 主要 介绍 如 何 利 用 PSO 去 优化 BP 神经 网 络 核 函数 参数 的 具体 步 又 


流程 : 

1) 通过 上 述 式 (12-20) 和 式 (tm ) 
(12-21) 来 对 粒子 群 进行 相应 的 初 
始 化 ; 


二 攻 和 EBP 种 经 网 络 和 柱子 灵 
2) 再 根据 上 述 式 (12-22) 对 粕 


子 群 中 粒子 的 适应 度 函 数值 进行 有 效 


机 
3) 通过 粒子 上 自身 的 适应 度 的 郑 
数 与 历史 最 佳 位 置 P; 的 适应 度 的 函 


数 比较 ， 判 电 优 劣 ， 然 后 更 新 P; 


4) 根据 上 述 式 (12-17) 和 式 


(12-18) 来 对 粒子 群 中 的 粒子 相应 的 


速度 位 置 进 行 有 效 的 计算 ， 通 过 式 
秋 到 最 大 
迁 代 次 数 或 满足 最 
小 误差 值 
Y 


(12-21) 来 检验 获取 粒子 的 速度 和 位 

置 是 否 有 效 ; 如 果 此 时 粒子 群 的 平均 
输出 最 优 值 相 
应 的 全 局 极 值 






































适应 度 变 化 率 比 较 小 或 者 循环 的 次 数 
已 经 到 了 最 大 值 ， 则 就 能 够 输出 相应 
有 效 的 核 函数 参数 P,， 如 果 不 满足 上 
述 条 件 就 转 到 步骤 2 继续 循环 处 理 。 

图 12-4 所 示 为 PSO 优化 BP 神经 图 12-4 PSO 优化 BP 神经 网 络 
网 络 算法 的 基本 流程 图 。 算法 的 主要 流程 图 


仿真 结果 分 析 和 识别 系统 实现 








12. 5.1 仿真 结果 分 析 


本 实验 主要 是 基于 MATLAB7. 0 编程 来 实现 ， 在 该 仿真 实验 中 主要 利用 了 现 
有 的 目标 识别 系统 的 目标 特征 库 ， 该 特征 库 主要 包括 直升机 、 坦 克 、 越 野 车 等 











149 


25235 智能 信息 融合 与 目标 识别 方法 53， 





目标 图 像 数据 库 ， 里 面包 含 了 目标 的 训练 集 和 测试 集 数据 ， 在 训练 集中 主要 包 
含 红 外 和 可 见 光 图 像 数 据 ， 通 过 对 它们 不 同 角度 的 图 像 数 据 采集 ， 训 练 中 每 类 
有 144 张 样本 图 片 ， 本 次 仿真 实验 主要 针对 上 述 三 类 目标 进行 仿真 ， 一 共有 432 
张 样本 图 片 ， 每 个 类 别 目标 有 50 个 ， 图 12-5 所 示 是 通过 识别 系统 外 部 传感器 获 
得 直升机 、 坦 克 和 越野 车 的 照片 信息 。 测 试 目标 图 片 主 要 来 自 测试 集中 的 图 片 ， 
这 里 每 组 用 20 张 来 做 测试 。 


a 兰 名 在 -二 








和 ii 六 > . - 忆 
a) 直升机 
SN 2 六 mL SN 
ws rs -a Ein 3 WE 
bk 风光 和 地 
9 roar MG pd 人 Re pa 
b) 坦克 









本 -= 
I [a | eA 


一 一 SG [a 


图 12-5 目标 图 像 


通过 实验 仿真 图 ( 见 图 12-6、 图 12-7) 可 以 看 出 ,没有 经 过 优化 的 BP 神 
经 网 络 其 耗 时 比较 长 ， 主 要 是 网 络 的 学 习 时 间 太 长 ， 而 且 容 易 陷 入 局 部 最 优 ， 
导致 最 终 的 识别 结果 不 是 很 理想 ， 识 别 效 果 差 。 根 据 表 12-1、 表 12-2 数据 的 比 
较 可 以 发 现 利 用 PSO 优化 后 的 BP 神经 网 络 的 识别 率 明显 地 提高 了 ， 所 以 本 实验 
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仿真 能 够 有 效 地 验证 该 优化 算法 的 有 效 性 ， 同 时 能 够 有 效 地 提高 基于 多 传感器 
多 特征 融合 目标 识别 的 识别 率 。 





图 12-6 基于 PSO 优化 BP 神经 网 络 特征 信息 融合 的 目标 识别 结果 


PSO-BP 





图 12-7 非 优 化 BP 与 优化 BP 神经 网 络 多 特征 目标 识别 的 误差 


表 12-1 基于 BP 神经 网 络 特征 信息 融合 的 目标 识别 结果 





目标 项 目 样 本 数 目 标 数 正 确 数 器 中 2 耗 时 
轿车 144 20 14 70% 45.5s 
坦克 144 20 12 60% 37. 8s 
直升机 144 20 16 80% 43.4s 


表 12-2 基于 PSO 优化 BP 神经 网 络 多 特征 目标 识别 的 结果 
项 目 目 标 样 本 数 目 标 数 正确 数 识别 率 总 耗 时 





轿车 144 20 18 90% 35.5s 
坦克 144 20 16 80% 33. 6s 
直升机 144 20 18 90% 37. 1s 
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12.5.2 识别 系统 实现 


在 该 识别 系统 中 ， 后 期 数据 处 理 到 识别 实现 主要 依靠 特征 数据 库 、 目 标 训 
练 和 目标 识别 。 

1. 特征 数据 库 

特征 数据 库 主 要 用 来 存储 传感器 采集 到 的 目标 特征 数据 ， 为 训练 模型 做 数 
据 准 备 。 在 本 系统 中 主要 运用 目前 比较 成 熟 的 数据 库 SQL Server 2005 来 建立 相 
应 的 特征 数据 库 ， 它 的 优点 就 是 能 够 将 各 种 复杂 的 数据 用 二 维 表格 来 直观 地 表 
示 出 来 ， 而 且 它 的 存储 结构 最 为 突出 的 优点 就 是 各 种 复杂 的 数据 结构 之 间 的 关 
系 能 够 以 二 维 表格 的 形式 直观 表示 。 图 12-8 为 系统 中 样本 特征 数据 。 



























meanaa 目 全 国 了 
品目 日 日 日 昌国 




















110 | 》 Pl P| 国 | 单元 格 是 只 当 的 














图 12-8 基于 SQL 的 样本 特征 数据 


2. 目标 特征 数据 模型 训练 
在 图 12-9 和 图 12-10 中 ， 先 对 样本 图 像 进 行 选择 。 











a 





= 





季 量 文件 处 理 一 一 一 


大 批量 处 理 样本 文件 
p= 4 批量 样本 添加 
模型 训练 | 
| 


H 册 拓 特 征 。 | zernike 短 特征 | 仿 射 不 变 短 特征 | 灰 度 共生 詹 特 征 | 



































图 12-9 样本 文件 选择 
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国 国 加 加 








2 三 
wea 
| 


























12-10 ” 样 图 显示 





选择 好 样本 后 ， 根 据 图 12- 11 和 图 12-12 来 对 目标 进行 特征 提取 。 提 取 后 的 
目标 特征 数据 会 自动 存 人 到 特征 数据 库 中 ， 存 储 完成 如 图 12- 13 所 示 。 





请 选择 要 添加 的 样本 类 型 、 传 感 器 类 型 、 距 离 类 型 
外 悍马 灸 直升机 @ 卡 车 
外 战斗 机 久保 时 捷 全 坦克 








@ 远 距离 (小 目标 ) @ 近 距离 (大 目标 》 








Cancel | 

















图 12-11 目标 参数 选择 


通过 上 面 对 样本 特征 的 提取 和 存储 ， 下 面 就 是 系统 对 特征 数据 进行 训练 ， 
建立 相应 的 目标 特征 模型 。 图 12-14 是 识别 模型 训练 的 界面 。 

3. 目标 识别 

目标 识别 方法 主要 是 采用 基于 PSO 优化 改进 的 BP 神经 网 络 目 标识 别 方法 ， 
通过 仿真 实验 我 们 证 明 该 方法 的 有 效 性 ， 而 现在 我 们 将 其 应 用 到 具体 的 目标 识 
别 系统 中 ， 来 证 明 它 的 可 用 性 和 可 行 性 。 在 图 12-15 中 ， 主 要 介绍 了 识别 系统 
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EE 
取消 





图 12-12 多 文件 选择 界面 





12-14 ”模型 训练 
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的 操作 流程 ， 通 过 外 界 人 为 对 系统 进行 操作 ， 该 系统 中 利用 外 部 传感器 对 目标 
进行 图 像 采集 ， 然 后 通过 对 图 像 的 预 处 理 ， 利 用 特征 提取 算法 对 目标 特征 进行 
特征 提取 ， 然 后 再 利用 特征 融合 算法 对 提取 到 的 目标 特征 进行 多 特征 信息 融合 ， 
最 后 再 利用 识别 算法 对 目标 进行 识别 处 理 。 在 图 12-16 中 ,针对 战斗 机 进行 了 
目标 识别 试验 ， 通 过 外 部 传感器 捕获 到 的 战斗 机 图 像 信 息 ， 单 击 界面 上 的 目标 
识别 按钮 ， 在 很 短 的 时 间 内 就 能 在 “识别 结果 ”中 显示 出 “战斗 机 ”这 样 的 识 
别 结果 文字 ， 所 以 在 理论 到 实践 ， 再 到 具体 应 用 ， 都 证 明了 该 方法 的 可 行 和 
可 靠 。 














打开 传感器 点 击 识别 





图 12-15 识别 系统 中 内 部 的 运行 流程 






ee 


3 
可 见 光 传感器 ! | 。 红外 传感器 1 | 

| 荐 3 | 
可 见 光 传感器 2 ee 红外 传感器 2 | 


傅 0N 可 见 光 传感器 2 OFF 入 人 镶 oN 红外 传感器 1 oFF @ BoN 红外 传感器 20FF 入 











个 ON 可见光 传感器 1 oFF 个 

















图 12-16 识别 系统 结果 


本 章 小 结 


本 章 先 详细 介绍 了 理论 知识 ， 然 后 在 此 基础 上 对 PSO 和 BP 神经 网 络 优 缺 点 
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进行 了 详细 分 析 ， 然 后 利用 互补 优势 将 其 充分 结合 起 来 对 目标 进行 识别 。 本 章 
先 对 PSO 算法 和 BP 神经 网 络 的 算法 原理 进行 分 析 ， 并 得 到 相应 的 流程 图 ， 然 后 
提出 一 种 改进 的 BP 神经 网 络 优化 方法 ， 再 利用 PSO 对 改进 的 BP 神经 网 络 进行 
优化 ， 通 过 利用 现 有 的 直升机 、 坦 克 和 越野 车 等 目标 图 像 数据 对 它们 进行 分 类 
识别 。 最 后 通过 仿真 结果 得 出 了 基于 PSO 优化 改进 的 BP 神经 网 络 相应 的 误差 图 
和 识别 率 ， 通 过 对 比 它们 的 误差 和 识别 率 来 进行 分 析 。 
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第 13 章 厂 一 一 一 一 一 一 一 一 
模糊 支持 疝 量 机 理论 与 编程 实现 


模糊 数学 理论 





13. 1.1 模糊 数学 的 发 展 历程 


模糊 性 可 以 定义 为 现实 中 的 不 确定 的 没有 明确 标准 的 现象 。 比 如 “很 好 ” 
与 “不 太 好 ”、“ 健 康 ” 与 “不 健康 ”之 间 没 有 明确 的 界定 标准 ， 无 法 知道 满 
足 这 些 概 念 需要 具备 什么 资格 ， 从 而 便 有 了 模糊 性 。 模 糊 数学 是 一 种 定量 处 
理 方法 ， 但 是 不 同 于 其 他 学 科 ， 它 是 专门 为 了 解决 模糊 现象 而 产生 的 数学 
方法 。 

L. A. Zadeh 教授 是 美国 著名 的 控制 论 专 家 ，1965 年 他 发 表 了 一 篇 论文 
《Fuzzy Sets》， 至 此 模糊 数学 诞生 了 。 

人 类 具有 认 知 的 能 力 ， 可 以 通过 五 官 的 感知 从 外 界 获取 信息 ， 通 过 大 脑 对 
这 些 信息 进行 整合 与 分 析 。 在 对 这 些 信息 进行 处 理 的 过 程 中 ,信息 中 包含 了 大 
量 的 模糊 信息 。 但 是 人 类 却 能 够 很 好 地 通过 这 些 信息 进行 推理 、 抽 象 ， 最 终 做 
出 必要 的 正确 的 决策 。 这 是 人 类 特有 的 能 力 ， 看 似 简单 的 能 力 在 计算 机 中 实现 
起 来 却 不 是 一 件 容 易 的 事 。 计算机 具有 人 类 无 法 比拟 的 运算 能 力 ， 对 信息 的 记 
忆 能 力也 要 远 超 常人 。 虽 然 计算 机 具备 这 么 多 让 人 望尘莫及 的 超级 能 力 ， 但 是 
当 计 算 机 面 对 具 有 模糊 性 质 的 问题 时 却 依 然 是 束手无策 。 对 于 计算 机 不 能 如 同 
人 类 的 大 脑 一 样 思考 问题 ,基于 对 计算 机 与 大 规模 系统 之 间 了 矛盾 的 研究 ， 
L. A. Zadeh 教授 对 这 一 问题 进行 了 详尽 的 分 析 。 要 解释 计算 机 不 能 处 理 具 有 模糊 
性 质 的 问题 ， 首先 要 对 康 托 尔 集合 论 (Cantor s Set ) 进行 了 解 。 康 托 尔 集合 论 
指出 ， 论 域 中 的 任何 一 个 元 素 与 某 个 集合 4 之 间 的 关系 只 有 两 种 ， 属 于 4 或 者 
不 属于 4， 不 可 能 出 现 第 三 种 情况 。 所 以 ， 康 托 尔 集合 只 能 描述 “是 ”与 “和 否 ” 
的 概念 ， 对 于 具有 不 确定 性 的 问题 就 无 法 进行 描述 了 。 类 似 的 ， 正 是 由 于 计算 
机 只 有 处 理 康 托 尔 集合 的 逻辑 造成 了 它 无 法 处 理 模糊 问题 。 了 解 了 原因 之 后 ， 
要 解决 这 一 问题 就 只 剩 下 寻找 解决 的 办 法 了 ， 而 模糊 集合 论 正 是 为 解决 此 类 问 
题 而 诞生 的 。 经 过 多 年 的 发 展 ,模糊 集合 论 现在 已 经 形成 了 一 套 完备 的 模糊 数 
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学 体系 。 

虽然 发 展 的 时 间 很 得 ， 但 是 模糊 数学 却 在 很 多 领域 得 到 了 非常 广泛 的 应 用 ， 
它 所 涉及 的 领域 几乎 包含 了 迄今 为 止 人 类 所 有 的 活动 。 因 此 模糊 数学 理论 正 逐 
浙 成 为 与 人 们 息息相关 的 科学 技术 。 很 多 具有 模糊 性 的 问题 都 需要 使 用 模糊 数 
学 进行 处 理 ， 尤 其 是 面 对 庞 大 的 系统 决策 时 更 是 如 此 。 


13. 1.2 模糊 集 


模糊 数学 是 描述 模糊 现象 的 数学 。 而 模糊 集 是 模糊 数学 的 理论 基础 。 对 于 
我 们 熟悉 的 普通 集 论 要 求 : 论 域 0 中 每 个 元 w， 对 于 子 集 4CU 来 说 , uw 与 4 只 
存在 ue4 或 者 ug4 两 种 关系 ， 不 会 出 现 模 棱 两 可 的 现象 。 因 而 ， 子 集 4 可 用 0 
和 1 两 个 数字 来 刻画 。 设 论 域 7 为 自然 数 集 ， 那 么 上 述 关 系 可 以 用 特征 函数 法 
表示 为 

















Ci: U40,1| 
uC (u) (13-1) 
y 0 ueAd 
CA ugA4 
可 见 ， 给 定 了 论 域 VU 上 的 一 个 子 集 ， 就 等 于 给 定 了 特征 函数 ， 反 之 亦 然 。 
因此 ,一 个 特征 函数 对 应 着 集合 里 的 一 个 值 。 
传统 的 数学 理论 中 特征 函数 的 取 值 范围 是 10，1| ， 而 L.A. Zadeh 教授 则 将 
这 个 范围 进行 了 拓展 ， 将 取 值 范围 由 原来 确定 的 两 个 数值 拓展 到 了 一 个 闭 区 间 
[0，1]。 这 也 是 模糊 集 概念 的 来 源 。 
设 在 论 域 VU 上 给 定 了 一 个 映射 . 
4: U—[0,1] 
ul >A(u) (13-2) 
则 称 4 为 论 域 VU 上 的 模糊 集 (Fuzzy Set) ，A(wu) 称 为 4 的 隶属 度 函 数 ， 用 来 求 
得 w 对 4 的 隶属 度 。 
隶属 度 可 以 理解 为 是 用 来 表示 一 个 样本 与 模糊 集合 之 间 相 关 性 程度 的 值 。 
当 A(wu) =1 时， 表示 样本 完全 属于 模糊 集合 4; 反之 ， 当 4(z) =0 时 ， 表 示 
样本 完全 不 属于 模糊 集合 4。4(z) 的 值 与 样本 wu 属于 模糊 集合 4 的 程度 成 
正比 ” 


13.1.3 几 种 常见 的 模糊 隶属 度 函 数 


1. 对 茶 个 值 靠近 程度 的 表示 函数 
实际 应 用 中 常用 一 些 特殊 的 隶属 度 函 数 用 来 表示 当前 w 值 对 某 个 值 的 靠近 
程度 ， 比 如 高 斯 函数 : 
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Al(u ) =exp| - Ce (13-3) 

式 中 ,a 和 er 为 参数 。 函 数 图 形 如 图 13-1 
从 高 斯 型 函数 的 图 形 中 我 们 可 以 看 出 ，w 越 是 靠近 a， 其 隶属 度 越 接近 1 
当 w=a 时 隶属 度 为 1， 因 此 我 们 可 以 用 高 斯 型 隶属 度 函 数 来 表示 “靠近 4a 的 
































程度 ”。 
另外 还 经 党 用 三 角形 函数 定义 如 下 : 
0 ua 
_ (wu-a)/(b-a) a<ub 
a 1 
0 u>c 


式 中 ，a、b、c 为 参数 ， 三 角形 函 


数 图 形 如 图 13-2 所 示 。 


4 全 














图 13-1 高 斯 型 函数 图 形 图 13-2 三 角形 隶属 度 函 数 图 形 


由 图 13-2 可 以 看 出 ， 三 角形 函数 与 高 斯 型 函数 所 表示 的 售 义 基本 一 致 ， 都 
是 对 某 个 值 的 靠近 程度 ， 三 角形 靠近 程度 为 线性 递增 和 递减 ， 高 斯 型 靠近 程度 
为 非 线性 递增 和 有 递减。 

除 此 之 外 还 有 梯形 函数 等 都 可 以 用 来 表示 同样 的 含义 。 

2. 对 某 个 值 远离 程度 的 表示 函数 

用 于 表示 wu > 的 程度 的 隶属 度 函 数 ， 常 用 函数 如 下 : 


0 0<ua 
A = _ NN-2]-l 13-5 
Be [9 | a <u2a 人 ) 


函数 图 形 如 图 13-3 所 示 。 
另外 的 一 个 常用 的 函数 可 以 表示 为 


1 0<ua 
A = ce 21-1 13-6 
5 [ea ] a <u2a ( ) 


函数 图 形 如 网 13-4 所 示 。 
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A(w 
A(w 








pe 


a a 


图 13-3 表示 w >a 程度 的 隶属 度 函 数 图 13-4 表示 远离 wa 的 程度 的 隶属 度 函 数 





支持 向 量 机 理论 


机 器 学 习 领 域 凸 现 出 了 许多 优秀 的 理论 与 算法 ， 但 是 文 持 向 量 机 (SVM ) 
理论 绝对 是 其 中 的 集大成 者 。 该 理论 由 Vapnik 和 他 的 合作 伙伴 共同 提出 ， 一 经 
提出 就 受到 了 世界 范围 的 关注 ， 随 后 便 有 了 突飞猛进 的 发 展 势 涉 ， 不 但 成 为 机 
器 学 习 领 域 的 标准 工具 之 一 ， 也 成 为 众多 其 他 领域 经 常 采用 的 算法 。 支 持 向 量 
机 理论 之 所 以 如 此 优秀 ， 是 因为 它 建 立 在 了 众多 优秀 的 理论 的 基础 之 上 ， 比 如 
凸 二 次 规划 、 统 计 学 理论 、 核 函数 理论 等 一 批 完备 的 数学 理论 。 

近 几 年 涌现 出 的 大 量 理论 研究 成 果 ， 更 为 其 应 用 研究 黄 定 了 坚实 的 基础 。 
然而 对 于 支持 向 量 机 来 说 ， 最 大 的 问题 在 于 解 二 次 规划 问题 时 的 运行 速度 较 慢 。 
为 了 对 此 问题 进行 改善 ， 众 多 国内 外 科学 家 和 研究 人 员 对 其 算法 做 出 了 研究 与 
改进 ， 从 而 形成 了 多 种 基于 传统 支持 向 量 机 的 变形 算法 ， 而 且 这 些 经 过 变形 的 
算法 往往 在 某 一 领域 具有 较 好 的 运行 速度 。 下 面具 体 列 出 了 几 种 经 常用 到 的 变 
形 算 法 ， 它 们 都 是 比较 典型 的 变形 算法 : v-SVM、Fuzzy SVM、GSVM ( General- 
ized SVM ) 、LS-SVM ( Least-Square SVM ) 、One- Class SVM、RSVM ( Reduced 
SVM) 等 算法 。 另 一 方面 ， 许 多 国内 外 科学 家 和 研究 学 者 从 学 习 策 略 方面 人 手 ， 
针对 实际 情况 中 不 同 的 应 用 问题 结合 各 种 支持 向 量 机 方法 各 自 的 优点 ， 提 出 了 
多 种 新 型 的 基于 组 合 形 式 的 支持 癌 量 机 算法 。 下 面 我 们 对 文 持 向 量 机 的 理论 知 
识 简 单 做 一 些 介绍 。 


13.2.1 经 验 风险 


机 器 是 不 具有 思考 能 力 的 ， 因 此 机 器 的 学 习 过 程 是 需要 人 为 地 制定 学 习 规 
则 的 ， 也 就 是 对 学 习 内 容 、 学 习 方 式 以 及 学 习 的 停止 准则 进行 规定 。 其 中 学 习 
停止 准则 最 为 重要 ， 因 为 如 果 机 器 在 还 没有 完全 获得 必要 的 知识 之 前 就 停止 学 
习 ， 那 么 它 的 识别 能 力也 就 可 想 而 知 了 ; 相反 ， 如 果 出 现 了 过 学 习 现 象 ， 那么 
机 带 的 泛 化 能 力也 会 下 降 ， 这 也 是 我 们 不 希望 看 到 的 。 所 以 对 学 习 准 则 的 制定 
需要 进行 多 方面 的 考虑 ， 而 经 验 风险 最 小 化 的 原则 是 较为 实用 的 停止 准则 之 一 ， 
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下 面 我 们 对 这 一 停止 原则 进行 解释 。 

假设 有 /个 观测 样本 (xi ，y)，(z% 7) ，…，(2 和) ， 它 们 之 间 是 相互 
独立 的 关系 ,但 是 遵循 一 样 的 分 布 规 律 ，y 和 x 之 间 的 关系 是 满足 一 个 未 知 的 联 
合 概率 密度 函数 F(x，y) 。 预 测 函 数 集 |Kx，w)} 中 存在 可 以 使 得 期 望 风险 
R(w) 最 小 的 一 个 预测 函数 A 放 x，w) ， 称 之 为 最 优 函 数 。 对 期 望 风 险 R(w) 的 
定义 为 








R(w) = [L(y f(x,w) ) dF(x,y) (13-7) 


式 中 ,我 们 将 {fx,，w)| 称 之 为 预测 函数 集合 ，w 为 函数 的 广义 定义 参数 。 
1x,，w)| 可 以 表示 任何 函数 集 。L(y, Ax，w)) 为 由 于 用 大 x，w) 对 y 进行 
预测 而 造成 的 损失 ， 针 对 学 习 的 情况 不 同 ,损失 函 数 的 形式 也 不 相同 。 

机 天 学 习 最 常 应 用 于 以 下 三 类 : 分 类 问题 、 回 归 佑 计 问 题 和 概率 密度 佑 计 
问题 。 对 于 分 类 问题 ， 输 出 y 的 形式 为 y= 10, 1| 或 y=11，1}， 该 类 问题 的 
损失 函数 可 以 定义 为 以 下 形式 : 








0 y=f(%,w) 
L(y,f/(x,w))= ef (13-8) 
针对 目标 识别 问题 ， 我 们 期 望 通过 对 现 有 样本 数据 学 习 的 过 程 ， 找 到 一 个 
使 得 错 分 概率 最 小 的 分 类 函数 所 xz，rwo) ， 并 且 学 习 过 程 是 在 f(x,y) 未 知 的 
情形 下 进行 的 。 如 果 分 类 器 的 输出 与 期 望 值 不 符 ， 那么 我 们 称 该 次 分 类 为 
错 分 。 
在 函数 回归 估计 问题 中 ，y 的 值 是 一 个 连续 变量 ， 损 失 函 数 定义 为 
L(y,f(x,w)) =(y 一 所 zz0)) (13-9) 
回归 函数 就 是 在 损失 函数 下 能 够 使 得 风险 泛 函 式 (13-7) 取 值 最 小 的 
函数 。 
概率 密度 估计 问题 不 同 于 模式 识别 ， 模 式 识别 具有 期 望 输出 ， 而 概率 密度 
估计 没有 这 样 一 个 期 望 值 来 做 对 比 ， 它 的 目的 是 通过 对 现 有 样本 的 学 习 来 大 概 
估计 «的 概率 密度 ,其 中 被 估计 的 密度 函数 为 p(x，w)。 此 类 问题 的 损失 函数 也 
不 同 于 模式 识别 ， 具 体形 式 定 义 如 下 : 
L(y,f(%,w)) = -logp(%,w) (13-10) 
虽然 各 问题 的 应 用 方向 不 一 样 ， 但 通过 对 以 上 问题 的 描述 可 以 看 出 ， 它 们 
都 是 以 期 望 风 险 最 小 化 为 学 习 目 的 的 。 但 是 由 于 受到 各 种 条 件 限 制 ， 比 如 样 
本 数量 较 少 、 概 率 密度 R(x，y) 未 知 ， 所 以 式 (13-7) 表示 的 期 望 风 险 无 法 
估计 。 针 对 此 类 问题 ， 传 统 的 学 习 方 法 是 通过 计算 样本 的 误差 来 定义 经 验 风 
险 的 : 





Raw) = TD Lfsi,m)) (13-11) 
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我 们 将 这 种 利用 样本 误差 来 定义 经 验 风 险 的 方法 称 之 为 经 验 风 险 最 小 化 
(Empirical Risk Minimization, ERM) 原则 。 

统计 学 习 的 任务 就 是 要 找到 合适 的 方法 最 小 化 R,,,(w) 来 蔡 代 式 (13-7)。 
针对 不 同 的 问题 ， 具 有 不 同 的 损失 函数 ， 其 对 应 的 经 验 风 险 的 含义 就 会 不 同 。 
比如 ， 模 式 识别 问题 中 的 经 验 风 险 是 错 分 率 ， 而 回归 问题 中 的 经 验 风险 却 是 平 
方 训练 误差 。 许 多 经 典 算法 都 采用 了 基于 经 验 风险 最 小 化 的 原则 ， 比 如 最 小 二 
乘法 、 最 大 似 然 估计 法 这 些 算法 都 是 采用 了 经 验 风险 最 小 化 的 原则 ,另外 还 有 
神经 网 络 学 习 方 法 也 是 采用 了 同样 的 学 习 原 则 。 


13.2.2 结构 风险 最 小 化 


经 验 风险 最 小 化 原则 是 经 过 实践 验证 的 有 效 的 学 习 停 止 规则 ， 并 被 应 用 到 
了 众多 的 识别 算法 中 ,但 是 它 所 应 用 的 情况 也 是 具有 局 限 性 的 。 比 如 观测 样本 
必须 最 够 多 ， 在 大 量 的 数据 中 寻找 某 个 规律 并 总 结 经 验 ， 使 得 在 以 后 的 预测 过 
程 中 犯错 的 可 能 性 达到 最 小 ， 也 就 是 先 验 知识 和 经 验 足 够 丰富 才 行 。 对 于 小 样 
本 数据 问题 ， 往 往 不 能 通过 现 有 的 数据 从 中 得 到 较为 有 效 的 先 验 知识 ， 从 而 造 
成 置信 范围 过 大 。 神 经 网 络 等 方法 就 是 采用 经 验 风险 最 小 的 原则 ， 然 而 神经 网 
络 的 网 络 结构 是 具有 不 确定 性 的 ， 针 对 不 同 问题 采用 的 网 络 结构 不 同 ， 最 后 得 
出 的 效果 差异 也 较 大 。 因 此 在 网 络 的 设计 过 程 中 对 操作 人 员 的 技巧 具有 很 强 的 
依赖 性 。 

针对 经 验 风 险 最 小 化 的 问题 ， 统 计 学 习 理 论 提 出 了 一 种 新 的 学 习 停止 规则 ， 
被 称 为 结构 风险 最 小 化 准则 。 结 构 风 险 最 小 化 准则 的 基本 思想 可 以 通过 图 13-5 
进行 说 明 。 通 过 图 13-5 我 们 可 以 看 出 ， 所 谓 结构 风险 最 小 是 指 首先 通过 函数 集 
中 不 同 子 集 VC 维 ( Vapnik-Chervonenkis dimension) 的 大 小 对 这 些 子 集 进行 排 
序 ， 之 后 在 子 集 的 内 部 搜寻 最 小 经 验 风 险 ， 然 后 在 子 集 之 间 添 加 对 置信 范围 的 
考虑 ， 最 后 取 一 个 折 中 值 。 

















给 厅堂 5 过 学 
风险 欠 学 习 过 学 习 风险 的 界 
NA 置信 范围 
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函数 子 集 : SC SCS3 

VC 维 : 有 <h < hs 
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图 13-5 结构 风险 最 小 化 准则 
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通过 上 述 描述 可 知 ， 经 验 风 险 和 置信 范围 分 别 取 决 于 不 同 的 对 象 ， 置 信 范 
围 是 取决 于 函数 集 的 ， 而 经 验 风险 往往 是 由 某 个 具体 的 函数 来 决定 的 。 统 计 学 
习 理 论 对 结构 风险 最 小 化 原则 进行 了 详细 的 论证 。 首 先 对 结构 风险 最 小 化 准则 
下 实际 风险 能 够 收敛 的 性 质 进行 了 证 明 ， 还 对 模型 的 选择 给 出 了 严密 的 论证 过 
程 ， 不 仅 如 此 ， 它 还 对 函数 子 集结 构 的 合理 性 提出 了 相应 的 标准 。 

基于 对 函数 集 重 要 性 的 考虑 ,统计 学 习 理 论 对 其 各 种 类 型 进行 了 细致 的 研 
究 。 和 希望 能 够 通过 对 它们 详细 的 研究 来 更 好 地 了 解 谤 化 界限 ， 也 可 以 简单 地 理 
解 为 是 寻找 它 与 经 验 风险 和 实际 风险 之 间 的 内 在 关联 。 

不 失 一 般 性 ， 我 们 这 里 对 两 分 类 问题 进行 讨论 ， 可 以 得 到 如 下 的 绪论 : 经 
验 风险 R,,(w) 和 实际 风险 R(w) 之 间 有 如 下 关系 : 


二 i 


式 中 , hh 为 VC 维 , 1 是 样本 个 数 的 具体 数值 ，” 取 值 范 围 为 0<m1。 根 据 公式 
可 以 看 出 ， 小 于 等 于 号 右边 由 两 项 构成 ， 也 就 是 实际 风险 R(w) 可 以 分 为 两 部 
分 : 一 部 分 是 我 们 所 熟知 的 经 验 风险 R,,,(w) ， 男 一 部 分 我 们 可 以 称 其 为 置信 和 界 
限 。 并 且 公 式 中 的 置信 界限 是 由 分 类 器 的 VC 维 h 和 训练 样本 数 1 共同 确定 的 ， 
它 是 对 复杂 结构 所 带 来 的 风险 的 一 个 度量 。 所 以 式 (13-12) 也 可 以 简单 地 表 
示 为 























R(w) <R,, (w) + BOR/) (13-13) 
由 式 (13-13) 右 侧 第 二 项 可 以 看 出 ，B(h/1) 与 hh 成 正比 。 过 学 习 的 现象 
就 是 由 于 在 训练 样本 有 限 的 情况 下 ， 学 习 机 器 的 复杂 性 过 高 、VC 维 较 大 ， 此 时 
正比 于 VC 维 的 置信 界限 自然 也 就 较 大 。 通 过 式 (13-13)， 置 信和 界限 大 意味 着 真 
实 风险 与 经 验 风 险 之 间 的 差别 大 ， 从 而 出 现 了 过 学 习 的 现象 。 所 以 ， 我 们 可 以 
通过 调整 分 类 器 的 证 化 能 力 来 解决 这 个 问题 ， 这 样 就 可 以 构造 适 于 小 样本 的 分 
类 器 。 对 于 有 界 非 负 函数 ,0<L(z, w) 入 B，ws4， 以 大 于 或 等 于 1 -7 的 概率 
满足 下 面 的 公式 : 








Rn) Rw) + 到 1 | (13-14) 
同样 的 考虑 无 界限 集合 ， 我 们 可 以 得 到 分 类 器 的 泛 化 能 
R, (2w) 
R(w,) <—— 13-15 
| wn | , 
式 中 , a(p) =p | e =2 2 了 





通过 以 上 描述 可 知 ， 经 验 风险 越 小 ， 风 险 的 上 界 也 在 减少 ， 最 小 化 经 验 风 
险 或 者 最 小 化 式 (13-14) 小 于 等 于 号 右边 的 第 二 项 ， 都 可 以 调控 最 小 化 过 程 。 
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显然 ， 后 者 适合 小 样本 情况 。 
13.2.3 最 优 超 平面 


假设 存在 一 个 线性 可 分 的 训练 集 S = | (%,y,) | ， 线 性 可 分 是 指 训练 集中 
不 同类 别 的 样本 点 能 够 被 一 个 线性 超 平面 正确 分 开 。 我 们 可 以 将 这 个 分 类 超 平 
面 用 公式 描述 为 




















w*x+b=0 (13-16) 
式 中 , 必 是 超 平面 的 法 线 方向 ， 下 wo 为 单位 法 线 方向 ，‖ w | 为 w 的 模 ，wx 为 
w 与 x 的 内 积 , 这 里 beR, weR"”, xeR"。 
分 类 结果 可 以 表示 为 
wx;+b<0, y,= -1 
(13-17) 
w* x;+b=0, y,= +1 
我 们 可 以 假设 空间 : 
fl(w,b) =sgn( x+D) (13-18) 
对 (w，,，5) 进行 如 下 约束 : 


min|lw x,+b|=1 (13-19) 

我 们 的 目的 是 为 了 完全 正确 地 进行 分 类 ， 显 然 能 够 满足 分 类 目的 的 分 类 超 
平面 未 必 只 有 一 个 。 如 图 13-6 所 示 ， 该 分 类 超 平面 也 可 以 完全 正确 地 对 两 类 
样本 进行 正确 的 分 类 。 尽 管 能 够 正确 分 类 的 超 平面 不 唯一 ， 但 是 最 优 分 类 超 
平面 是 唯一 的 。 所 谓 最 优 分 类 超 平 面 是 指 能 够 满足 距离 该 超 平 面 最 近 的 两 类 
区 域 边界 处 的 训练 点 之 间 的 距离 最 大 ( 见 图 13-6)， 我 们 称 间隔 为 一 一 的 分 


wl 

类 超 平 面 为 最 优 分 类 超 平面 。 支 持 向 量 就 是 指 这 些 距离 最 优 超 平面 最 近 的 处 
于 类 别 区 域 边界 上 的 样本 点 ， 正 是 利用 这 些 支 持 向 量 才 唯一 地 确定 了 最 优 分 类 
超 平 面 。 

图 13-6 和 图 13-7 对 比 描述 了 最 优 分 类 超 平面 与 普通 分 类 超 平面 的 结构 比 
较 ， 通 过 两 幅 图 形 的 对 比 可 以 很 直观 地 看 出 两 类 分 类 超 平面 的 差异 。 图 13-6 中 
万 为 最 优 分 类 超 平 面 ,及 和 Hh, 分 别 为 两 个 类 别 区 域 的 边界 超 平面 ， 两 者 经 过 各 
自 类 别 区域 中 位 于 边界 上 的 样本 点 并 与 及 平行 ， 称 Hl 入 之 间 的 距离 为 分 类 


间隔 。 这 里 的 最 优 是 指 分 类 间隔 能 够 达到 最 大 值 [| 。 由 约束 条 件 式 (13-19) 
可 知 : 




















五 :mv. x+D=0 
Hi:w* x;+b=1, y;= +1 (13-20) 
H:w*: x,+b-1, y= -1 
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两 种 情况 可 以 简写 成 . 
y(w* x; +6)=1,i=1,2,.…,/ (13-21) 
式 中 , 如 和 瓦 到 万 的 距离 为 上， 分 类 间隔 为 。 





普通 超 平面 


> > 


图 13-6 最 优 分 类 超 平面 图 13-7 普通 分 类 超 平 面 














13.2.4 VC 维 数 


VC 维 (Vapnik-Chervonenkis Dimension ) 是 统计 学 习 理 论 中 一 个 重要 的 概 
念 。 它 是 一 个 与 几何 概念 的 维 没有 关系 的 纯粹 的 组 合 概念 。 它 在 统计 学 习 理 论 
中 扮演 着 一 个 中 心 的 角色 。VC 维 是 一 个 用 来 度量 具有 分 类 作用 的 函数 集 的 具体 
分 类 能 力 高 低 的 数值 。 粗 略 地 说 ， 为 了 可 靠 的 学 习 ， 一 个 类 所 需要 的 样本 的 数 
量 正 比 于 那个 类 的 VC 维 。 因 此 对 VC 维 的 估计 需要 首先 关注 。 

由 数学 知识 中 的 排列 组 合理 论 可 以 知道 ， 如 果 存 在 个 一 样 的 相互 独立 
的 小 球 ， 现 在 要 将 这 个 小 球 随机 地 放 入 两 个 不 同 的 箱子 A 和 B 中 ,那么 
可 以 求 出 放 入 的 方式 有 2 " 种 。 可 以 理解 为 每 个 小 球 有 两 种 选择 ， 选 择 放 和 人 
A 箱子 或 者 B 箱子 ， 那 么 个 小 球 共 有 2 x2 x… x2 =2” 种 情况 。 现 在 将 A 
和 B 两 个 箱子 看 作 两 个 不 同 的 类 别 ， 将 个 小 球 看 作 是 观测 样本 ， 也 就 是 说 
样本 的 划分 情况 共有 2” 种。 那么 我 们 规定 如 果 一 个 函数 集 ， 它 最 多 能 够 实 
现 将 个 样本 以 任意 的 组 合 进行 分 类 ， 那 么 称 此 函数 集 的 VC 维 为 h。 如 果 
此 函数 集 能 够 实现 将 无 穷 多 个 样本 以 任意 的 组 合 进行 分 类 ， 那 么 该 函数 集 的 
VC 维 为 m 。 

虽然 VC 维 的 概念 已 经 清晰 了 ， 但 是 对 VC 维 的 计算 却 至 今 没 有 通用 的 理 
论 ， 所 以 怎样 得 到 一 个 通用 的 计算 VC 维 的 公式 是 当前 有 待 解决 的 问题 。 虽 然 
计算 公式 尚未 存在 ， 但 是 对 于 某 些 特殊 的 函数 集 我 们 是 知道 它们 的 VC 维 的 ， 
如 一 个 线性 分 类 如 ， 它 的 VC 维 是 样本 的 维度 加 1; f(x,a) =sin(ax) 的 VC 维 则 
为 oo 。 
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13.2.5 核 函 数 


对 于 非 线 性 问题 ， 支 持 向 量 机 通过 一 个 映射 过 程 将 原始 空间 中 的 问题 映射 
到 更 高 维度 的 空间 中 ， 使 之 在 高 维度 空间 中 成 为 一 个 线性 问题 ， 并 在 高 维度 空 
间 中 进行 求解 。 但 是 ， 由 于 维 数 急剧 增长 ， 通 常情 况 下 在 特征 空间 计算 最 优 分 
类 面 往往 很 难 实现 。 但 是 ,在 求解 支持 向 量 机 的 对 偶 问 题 过 程 中 ， 仅 在 高 维 空 
间 中 的 点 积 运算 ， 如 果 能 找到 一 个 合适 的 函数 K(x,;，x;) ， 使 得 

K(xi,%) =p(%) * p(X) (13-22) 

这 样 ， 在 高 维特 征 空间 中 的 内 积 运算 就 可 以 在 原 空间 中 利用 函数 来 实现 ， 避 免 
了 维 数 转换 。 函数 K(x， %;) 就 称 为 核 汝 数 ( Kernel Function ) 。 

文 持 向 量 机 的 核 函数 种 类 繁多 ,不 同 的 核 函数 可 以 满足 不 同 算法 的 需要 ， 
但 是 基本 所 有 的 核 函 数 都 会 满足 Mercer 条 件 : 

K(x, x') 为 连续 对 称 核 ， 其 中 x 和 x' 的 取 值 范围 为 区 间 [4a, 5]。 那 么 该 
对 称 核 K(x，x') 可 以 展开 为 下 式 中 的 级 数 形式 : 
































K(x,x') = Aipi(x) p(x)) (13-23) 


式 中 ，p,(z) 为 特征 函数 展开 式 ，A， 称 为 特征 值 。 如 果 特 征 值 全 都 是 正 数 ， 那 
么 称 核 K(x，x') 是 正定 核 。 
式 (13-23) 满足 展开 式 的 合理 性 和 绝对 一 致 收敛 性 的 充 要 条 件 为 


| | KGxsx') Wx) Wx’) drdx’ =0 (13-24) 














对 于 所 有 满足 | 天 (x)dx < wm 的 于 (x) 成 立 。 


通过 Mercer 定理 我 们 只 能 得 知 该 候选 核 函数 是 否 可 以 表示 高 维 空间 的 内 积 
以 及 是 否 可 以 应 用 于 支持 向 量 机 。 但 是 它 并 没有 告诉 我 们 如 何 去 构 造 函 数 pj(x)， 
因此 我 们 需要 自己 构造 ， 目 前 常用 的 核 函数 有 : 

(1) 多 项 式 核 函 数 (Polynomial Kernel ) : 

K(x,x;) =[ (x x,) +1]" (13-25) 

式 中 ，g 为 阶 数 。 多 项 式 核 函数 的 优点 较 多 ， 主 要 的 优点 有 : 全 局 性 能 较 好 、 外 
推 能 力 较 强 ， 其 中 阶 数 4 与 外 推 能 力 成 反比 。 

(2) 径 癌 基 核 函数 (RBF Kernel) 




















K(x,x;) -op| - | ] (13-26) 


207 
径 问 基 核 函数 具有 很 好 的 局 部 性 ， 也 是 运用 最 为 广泛 的 核 函 数 之 一 。 其 中 
he 其 值 将 直接 对 分 类 器 的 分 类 能 力 起 到 关键 
性 的 影响 。 因 此 ， 选 取 合 适 的 参数 在 实际 应 用 中 是 非常 重要 的 环节 。 


166 


第 13 章 模糊 支持 向 量 机 理论 与 编程 实现 


(3) S 形 核 函 数 
K(x,x,) =tanh(v(x * x;) +c) (13-27) 
基于 S 形 核 函 数 的 文 持 向 量 机 可 以 看 作 一 个 含有 隐 含 层 的 多 层 感 知 机 。 而 
且 可 以 由 算法 自动 确定 隐 含 层 内 部 的 节点 数 ， 不 需要 人 为 设置 ， 所 以 这 是 S 形 
核 函 数 的 一 个 优点 。 另 外 ， 具 有 全 局 极 小 值 并 可 以 避免 局 部 极 小 值 也 是 S 形 核 
函数 的 一 个 重要 优点 。 


模糊 支持 向 量 机 理论 


模糊 支持 向 量 机 (FSVM) 与 传统 支持 向 量 机 不 同 之 处 在 于 引入 了 模糊 数学 
的 理论 。 主 要 思想 是 通过 对 样本 数据 引入 隶属 度 来 实现 。 其 中 ， 各 样本 点 隶属 
度 的 数值 由 隶属 度 函数 来 进行 确定 ， 而 且 不 同 的 隶属 度 函 数 对 于 模糊 支持 问 量 
机 的 分 类 结果 的 影响 也 是 不 同 的 。 由 于 传统 支持 向 量 机 是 平等 地 对 待 所 有 的 样 
本 点 的 ， 对 于 位 于 分 类 边界 处 的 点 相当 敏感 ， 所 以 当 训练 数据 中 存在 野 值 或 者 
是 噪声 的 时 候 ， 将 对 分 类 超 平面 产生 很 大 的 影响 。 所 以 我 们 引入 隶属 度 函 数 来 
克服 这 个 问题 。 

模糊 支持 向 量 机 的 概念 主要 有 两 种 ， 下 面 将 对 这 两 种 模糊 支持 向 量 机 进行 







































































13.3.1 第 一 种 模糊 支持 向 量 机 


第 一 种 模糊 支持 向 量 机 的 概念 是 由 日 本 学 者 Takuga 和 Shigeo Abe 于 2001 年 
提出 的 。 这 种 方法 主要 针对 在 多 分 类 问题 中 “一 对 一 ”和 “一 对 多 ”支持 向 量 
机 存在 分 类 盲区 而 提出 的 。 

图 13-8 对 第 一 类 模糊 支持 向 量 机 的 概念 进行 了 直观 的 说 明 。 训 练 好 的 分 类 
函数 可 能 会 出 现 对 某 个 待 分 类 样本 无 法 进行 分 类 的 问题 。 为 了 避免 出 现 图 中 不 
可 分 区 域 的 情况 引入 了 模糊 隶属 度 函 数 来 构造 模糊 支持 问 量 机 进行 分 类 。 具 体 
过 程 是 ， 首 先 对 样本 x 通过 采用 某 种 计算 隶属 度 的 方法 来 计算 该 样本 x 与 第 i 类 























图 13-8 “一 对 一 ”模糊 支持 向 量 机 多 类 分 类 器 中 的 不 可 分 区 域 
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之 间 的 隶属 度 值 ， 然 后 将 其 归 类 为 隶属 度 值 最 大 的 类 别 中 去 。 
13.3.2 第 二 种 模糊 支持 向 量 机 


第 二 种 模糊 支持 向 量 机 的 概念 是 由 Chun-Fu Lin、Sheng-De Wang、Yi- 
Hung Liu 和 Han-Pang Huang 等 人 于 2002 年 提出 。 在 传统 的 文 持 向 量 机 的 优化 
问题 中 ， 为 了 减少 对 样本 点 错 分 的 情况 ， 提 出 了 惩罚 参数 的 概念 。 惩 罚 参 数 C 
的 具体 作用 就 是 当 发 现 分 类 器 出 现 错 分 的 情况 时 给 予 一 个 惩罚 ， 惩 罚 力 度 由 
惩罚 参数 C 来 控制 ， 而 且 短 罚 力 度 正 比 于 惩罚 参数 的 值 。 但 是 不 管 C 的 值 是 
多 少 , 一 旦 C 的 值 确定 了 ,那么 在 支持 向量 机 的 整个 训练 过 程 中 这 个 值 都 不 
再 改变 ， 所 以 ， 传 统 的 支持 向 量 机 对 所 有 的 训练 样本 点 其 实 是 同等 对 待 的 ， 
没有 任何 区 别 。 这 种 情况 导致 了 文 持 向 量 机 对 一 些 特别 情形 的 过 分 敏感 ， 而 
且 这 种 敏感 是 我 们 所 不 希望 的 。 例 如 我 们 前 面 讲 到 的 距离 类 别 中 心 位置 很 远 
的 孤立 的 样本 点 或 者 是 噪声 ， 这 样 就 会 出 现 过 学 习 现 象 ， 使 得 分 类 器 泛 化 能 
力 下 降 。 

既然 已 经 找到 了 问题 出 现 的 原因 ， 那 么 要 解决 该 问题 就 只 需要 找到 正确 的 
解决 方法 就 可 以 了 。 既 然 噪 声 点 和 距离 类 别 中 心 较 远 的 孤立 样本 点 对 于 分 类 
造成 了 不 利 的 影响 ， 那 么 我 们 只 要 对 这 些 特殊 的 样本 点 采取 一 些 措施 来 减少 
它们 对 分 类 的 贡献 度 ， 应 该 就 能 得 到 更 为 理想 的 分 类 超 平 面 了 。 因 此 我 们 针 
对 样本 点 的 性 质 分 别 赋予 不 同 的 隶属 度 ， 原 则 就 是 ， 贡 献 越 大 ， 隶属 度 越 高 ， 
反之 隶属 度 就 低 。 采 取 这 种 措施 就 可 以 尽量 减 小 噪声 点 和 孤立 样本 点 的 隶属 
度数 值 ， 从 而 有 效 地 减少 噪声 和 孤立 点 对 训练 过 程 中 分 类 性 能 造成 的 不 利 
影响 。 

针对 两 分 类 问题 ， 首 先 对 训练 样本 集 定义 一 个 隶属 度 函 数 。 之 后 根据 隶属 
度 函 数 ， 将 所 有 的 训练 样本 进行 模糊 化 处 理 ， 得 到 每 个 训练 样本 *; 的 隶属 度 
si。 最 后 将 训练 样本 集 改 写 为 模糊 训练 样本 集 ， 将 隶属 度 信息 添加 到 样本 点 数 
据 中 。 

假设 模糊 训练 集合 为 

S= | (xy13S1) (X22 ,52) (15y1531) | (13-28) 
式 中 , x,eR”, ye|-1, +1|}, se (0, 1]。 

s; 表示 训练 样本 x 与 其 对 应 的 输出 y; 之 间 的 隶属 度数 值 。 隶 属 度 的 值 表 
示 训 练 样本 *; 对 分 类 结果 的 重要 程度 ， 而 参数 & 为 支持 向 量 机 的 松弛 变量 ， 
表示 容错 程度 。 因 此 ，s,é, 可 以 用 来 衡量 对 于 分 类 重要 性 不 同 的 变量 的 容错 
程度 。 

对 于 前 面 所 描述 的 训练 集 ， 通 过 解 如 下 的 优化 问题 可 以 得 到 我 们 所 期 望 的 
最 优 分 类 超 平面 : 
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1 
1 
min |wl? +C2 sé 
| 


wel,beR,teR! 2 
st y(W: D(x) +0) +é,7=1,.,l 
E07= 1 
式 中 ，C >0 是 惩罚 参数 ，s 是 模糊 隶属 度 , &=(&1,，…, é&,)'。 
求解 式 (13-29) 二 次 规划 的 对 侦 规 划 ， 构 造 拉 格 朗 日 函数 : 


Lbsésa,pB) = Nol teD ss- Polyw w+b) + -1) - DBé 
(13-30) 


式 中 ， a= (A, Q2 ， ”9 or )  ， B=(B, pbB,, 9 Bi)', a 三 0,， B;=0 (j=1, 
2 1)。 


根据 对 偶 的 定义 ， 对 式 (13-30) 关于 w、5b 和 求 极 小 值 ， 求 偏 导 如 下 .: 


(13-29) 
























































aoL : 
3 = 2W 一 2 =0 
oL : (13-31) 
ap 之 ojxj = 0 
oL 
-=sc-Q,-pB,=0 
96 J J 1 
将 式 (13-31) 代入 式 (13-30) 中 ， 得 二 次 规划 的 对 偶 规 划 为 
1 1 1 
ns YAQ < Xi X > 一 >» a, 
a 2 全 j=1 j=1 
1 13-32 
s.t. > ya = 0 \ , 
j=1 
0 = 上; 到 siC,J = 1,.…,/ 






































因此 ， 通 过 前 面 的 推导 我 们 得 到 了 最 优 超 平 面 问题 的 对 偶 形 式 ， 根 据 对 偶 的 性 
质 ， 通 过 求 得 对 偶 形 式 的 最 优 解 也 就 得 到 了 我 们 所 期 望 的 最 优 分 类 超 平面 。 可 以 看 
出 式 (13-32) 为 一 个 凸 二 次 规划 问题 ， 所 以 可 以 解 得 最 优 解 a* = (ar ，…，oar ) ， 
据 此 我 们 得 到 模糊 最 优 分 类 函数 公式 如 下 所 示 : 























I 
f(x) = sn Pay < > eR (13-33) 
j=1 


者 存在 qa” 的 正 分 量 a 使 得 o e (0, %C), 则 6b” = 入 一 2 yo (wi 和) ， 
其 中 下 标 ie 1i|0<ai <sCl。 若 oa >sC， 为 错 分 的 样本 点 。 这 种 模糊 支持 向 
量 机 与 传统 的 支持 向 量 机 最 大 的 不 同 在 于 ， 由 于 的 出 现 ， 使 得 模糊 支持 向 量 
机 中 a” 所 对 应 的 支持 向 量 与 传统 的 支持 向 量 机 中 对 应 的 支持 向 量 有 可 能 发 生变 
化 ， 也 就 是 前 后 两 者 所 对 应 的 不 再 是 同一 类 支持 癌 量 。 
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对 于 非 线 性 问题 ， 我 们 引入 核 函 数 K(x,;，xw;) ， 那 么 分 类 问题 可 用 如 下 的 二 
次 规划 表示 : 
min 广 >》 2 yy Kr ,Xi) 一 2 
(13-34) 





0O<a <sC,j=1,.,l 

通过 式 (13-34) 可 以 看 出 ， 这 是 一 个 凸 二 次 规划 问题 ， 对 其 求解 可 以 得 到 
ao =(a ，…，Qi ) 为 最 优 解 ， 据 此 我 们 所 求 的 模糊 最 优 分 类 函数 可 以 表达 为 
如 下 形式 : 








f(x) = sgn( DE,’) +b"),xeR’ (13-35) 


式 中 ,b* = Bre (zi %) , jeljl0<a <sClo 


对 于 式 (13235) 中 ; 值 ， 只 有 当 样 本 点 为 支持 向 量 时 才 会 有 非 零 值 的 可 
E， 其 他 情况 均 为 零 值 。 因此 ， 只 有 支持 向 量 才 会 使 用 式 (13-35) 进行 求 和 。 

综 上 所 述 ， 可 以 得 出 模糊 支持 向 量 机 的 基本 思想 是 ， 通 过 引入 模糊 数学 的 
理论 构造 隶属 度 函数 ， 通 过 计算 各 样本 点 的 隶属 度 来 控制 惩罚 系数 的 大 小 ， 从 
而 减少 噪声 和 和 孤立 点 对 分 类 的 贡献 度 。 采 取 这 种 措施 就 可 以 尽量 减 小 噪声 点 和 
孤立 样本 点 的 隶属 度数 值 ， 从 而 有 效 地 减少 噪声 和 孤立 点 对 训练 过 程 中 分 类 性 
能 造成 的 不 利 影响 。 


模糊 隶属 度 核 函 数 的 选择 


通过 前 面 的 讨论 我 们 可 以 得 知 ， 模 糊 支持 向 量 机 分 类 性 能 的 好 坏 很 大 程度 
上 取决 于 模糊 隶属 度 隐 数 。 所 以 ， 所 构造 的 隶属 度 函 数 的 好 坏 很 大 程度 上 决定 
了 分 类 器 的 分 类 能 力 ， 对 隶属 度 函 数 的 构造 也 就 自然 而 然 地 成 为 模糊 支持 向 量 
机 的 关键 问题 之 一 。Lin 等 学 者 提出 选取 一 个 合适 的 隶属 度 函 数 需 要 满足 以 下 
两 点 : 

1) 定义 隶属 度 的 下 界 。 

2) 隶属 度 函 数 的 选取 必须 和 样本 的 特性 存在 着 一 些 联 系 ， 即 必须 根据 样本 
特性 选取 合适 的 隶属 度 函 数 。 

下 面 我 们 介绍 几 种 常用 的 隶属 度 函 数 。 


13.4.1 基于 类 中 心 距离 的 隶属 度 函 数 
基于 类 中 心 距离 的 隶属 度 函 数 具有 很 多 优点 ， 比 如 它 的 结构 非常 简单 ， 所 


mm 
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以 函数 构造 起 来 非常 方便 ,而且 隶属 度 就 是 样本 点 到 类 中 心 点 的 距离 ， 隶属 
度 所 表达 的 概念 直观 易于 理解 ， 所 以 该 方法 是 目前 最 常用 到 的 构造 隶属 度 函 
数 的 方法 。 基 于 类 中 心 距离 的 隶属 度 函 数 ， 顾 名 思 义 ,隶属 度 的 值 就 是 距离 
值 ， 是 样本 点 到 它 所 属 类 的 中 心 点 位 置 的 距离 ， 因 此 它 是 一 个 线性 函数 。 所 
以 ， 当 某 个 样本 点 的 隶属 度 较 大 时 意味 着 该 点 距离 所 属 类 的 中 心 位 置 很 近 ， 此 
样本 点 在 类 的 中 心 位 置 附近 ， 相 反 ， 如 果 录 属 度 值 较 小 ， 意 味 着 它 远离 类 的 中 
心 位 置 。 

不 妨 假设 对 于 R" 上 某 类 的 样本 点 1x ，x,，…，X;| ， 设 x 为 该 类 中 心 点 ， 











四 =- 工 > 站 于 9 
类 半径 > 为 样本 到 类 中 心 的 最 远 距 离 ， 即 
7r=max|x —x,; | (13-37) 


式 中 , ie[l, kj]。 
我 们 按照 距离 确定 隶属 度 ， 那 么 该 类 中 每 个 样本 的 隶属 度 可 以 表示 为 


| 


A(x) =1 一 一 (13-38) 


式 中 ,6 >0 为 一 个 非常 小 的 常数 ， 是 为 了 避免 出 现 隶 属 度 为 零 值 的 情况 。 
13.4.2 基于 S 形 函 数 的 隶属 度 函 数 

基于 类 中 心 距 离 的 隶属 度 函 数 所 呈现 的 隶属 度 简单 来 说 就 是 类 中 心 与 样本 
点 之 间 的 一 种 线性 关系 ， 但 是 在 S$ 形 隶 属 度 函 数 中 就 不 是 简单 的 线性 关系 了 ， 
它 是 一 种 在 [0, 1] 上 单调 递增 的 非 线 性 函数 关系 。Zadeg 设计 的 S 形 函 数 公 
式 为 


0 Wr < 
2[ (x,-a)/(c-a)] a<x, <b 
M(x,a,b,c) = (13-39) 
1 -2[ (x,-a)/(c-a)] bx,<e 
1 NXi 宇 c 





式 中 ， a 且 x, =b 时 ,样本 的 隶属 度 为 0. 5。 


13.4.3 基于 5 形 函 数 的 隶属 度 函 数 
五 形 函数 ， 顾 名 思 义 ， 该 函数 的 图 形 与 字符 5 的 结构 很 相似 ， 中 间 平 坦 ， 
两 边 衰减 较 快 。 形 函数 可 以 用 公式 表示 为 如 下 形式 : 
MK.(x,a,b,c) NX;e 


%) = 13-40 
pr(%) 1 -u(x,a,b,c) ,>c ( ) 
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不 难看 出 ,并 形 函 数 可 以 用 S$S 形 函 数 来 定义 。 
模糊 支持 向 量 机 算法 的 编程 实现 

本 曹 考虑 到 实时 性 与 可 移植 性 的 要 求 ， 采 用 C ++ 语言 进 行 开 发 设计 。 结 合 
Libsvm 工具 包 ， 加 入 了 基于 类 中 心 距离 的 模糊 隶属 度 函 数 ， 构 建 了 模糊 支持 问 


量 机 识别 算法 ， 并 对 序列 最 小 优化 算法 进行 了 编程 实现 。 使 用 Visual C ++6.0 
环境 进行 编译 运行 ， 开 发 界面 如 图 13-9 所 示 。 











| 





皮 i a i Boot Dra Yoole dn Ns -ls|x| 
| 痢 | 史 日 品 |%” 并 刀 | 全 7 全 7| 芭 两 客串 | 了 ]| 洒 
| m_AddNewSample_ =||[All class members] *||m_AddNewSample_DIg ”| 请- 四 


HF tdefined(AFX M ADDNEWSAMPLE DLG H 69131CF8_FB12 #7C2 A8A2 AEAF39E98638 INCLUDED 
#define AFX_H ADDNEWSAMPLE_DLG_H_ 89131CF8_FB12_47C2_A8A2_AEAF39E98638__INCLUDED_ 







































meONE CLASS QO 

2 PCA 

nm QMatrix 

ae Solver 

ss Solver_NU 

ms sourcedata 

ai SVC_Q 

ae svm_model 

ae svm_node 

由 -ae sym_parameter 

ME svm_predict_class class m AddNewSample_D1g : public CDialog 

sa svm_problem { 

sasvm_ scale_class YA Construction 

ma svm_train_class public: 

am SVR_Q m AddNewSsample_Dlg(CWndx pParent = NULL); 1f standard constructor 

9 全 a check_parameter[co void CalculateFeature(CString *，int ,int )377 计 算 样本 图 片 特 征 ， 参 数 是 图 片 路 径 指针 ， 
®svm_ check_probability_n 
® svm_cross_validation[co 


3Hf _MSC_UER > 1999 

#pragma once 

#endif /7/ MSC UER > 16866 

1 m_AddNewSample_D1g.h : header file 
7 

#include "resource.h" 


AAA 
1 m_AddNewSample_D1g dialog 


























tft Dialog Data 
| 1{{AFN_DATA(m AddNewSample_D1g) 
| 


[3 svm_destroy_param[svm 
®svm free_and_destroy_n 
svm free_model_content 


enum { IDD = IDD_DIALOG_ PARAM SELECT }; 
BOOL m ck_Artillery; 
BOOL m ck_Battleplane; 











® svm_get labels[const sv B00L m_ck_CCD3; 
svm_ get nr_class[const BOOL m_ck_FAR; 
A evm_net_ nr evirnnst ewr 国 | BOOL m ck_Helicopter; 
国 | 训 | 国 B00L m_ck_Hummer3 
这 SS cm BOOL mck_IR; 二 
ma ClassVi... | 名 Resour... FileView » 
到 |-------------------- Configuration: 天 in32 Debug-------------------- 





InterFace_983 .exe - 8 error(s), 8 warning(s) 


四 
4 Build 人 Debug 和 Find in Files 1 入 Find in Files 2 和 Results]i| | » 
Ln17,Col8 |RECICOLIOvR|READ 




















13-9 ”模糊 支持 向 量 机 编程 开发 界面 


在 LIBSVM 软件 的 基础 上 进行 编程 ， 其 中 核 函 数 定义 编码 如 下 : 
static double dot( const svm_node * px,const svm_node * py); 
double kernel_linear( int i,int ]) const 

{return dot(x[i] ,x[j]);} 

double kernel_poly(int i,int j) const 

|return powi( gamma * dot(x[ ij] ,xlj] ) +coef0,degree) ;| 

double kernel_rbf(int i,int j ) const 
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| return exp(-gamma * (x_square[i] +x_square[ j]-2 * dot(x[i] ,xj ))) ;| 
double kernel_sigmoid (int i,int j) const 

|return tanh( gamma x dot(x[i] ,x[j|]) +coef0);} 

double kernel_precomputed( int i,int j ) const 

|return x[i][ (int) (x[j][0]. value) ]. value;| 

基于 类 中 心 距离 的 模糊 隶属 度 值 获取 函数 定义 如 下 .、 

void calculate_S() 

{ifor(int 1=0;i<N; ++i) 








[xc + =x[i];| 

xc/ =N; 

for(i=0;i<N; ++i) 

{sli] =1-mod(xc,x[i])/(r+delt);|) 

具体 实现 模糊 支持 向 量 机 的 函数 调用 流程 如 图 13- 10 所 示 。 


main() 


| 一 > parse_command_line();// 读 取 命 令 行 文件 名 和 参数 ， 
初始 化 svm_parameter 结 构 


> read_problem();// 读 取 数 据 文 件 ， 并 分 配 数 据 内 存 ， 
/初始 化 svm_problem 结 构 


| Long L: 样 本 个 数 
Double *y; 样 本 所 属 类 
Double **x; 所 有 样本 的 特征 值 
Double *x_space; 特 征 值 








> svm teain(svm_problem,svm_paranmeter);// 填 充 SVm_model 结 构 并 进行 行文 件 保 存 


上 > svm group calss(); 


——> for(i=0;,i<nr_calss;++i) 
forG=i+1;j<nr_class;+j)/ 进 行 一 对 一 组 合 
{svm_problem sub_prob; 


| ~ svm train one() double obj;// 目 标 值 
{solver::SolutionInfo | double rho// 判 决 式 中 的 截 距 
| double upper_bound;//C 








switch(svm_problem::Type); 


} update_alpha_ status(int 1); 
is 1 bound(); 
Solver::solve(); ls lower- Doundly, 


do_shrinking(); 
Select working set(); 


|_calculate_rho(); 





13-10 ”模糊 支持 向 量 机 函数 调用 过 程 的 流程 图 
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智能 信息 融合 与 目标 识别 方法 3 


本 章 小 结 


本 章 主要 讲述 了 模糊 数学 的 基础 理论 知识 、 支 持 向 量 机 的 理论 知识 和 模糊 
支持 向 量 机 的 基础 理论 知识 。 首 先 通 过 对 模糊 数学 中 的 模糊 集 概念 、 隶 属 度 函 
数 的 概念 的 介绍 ， 以 及 对 支持 向 量 机 中 的 统计 学 习 理 论 、 最 优 分 类 超 平面 、 核 
函数 等 知识 点 的 介绍 ， 让 我 们 对 模糊 支持 向 量 机 有 了 初步 的 认识 。 之 后 对 模糊 
支持 向 量 机 理论 进行 了 详细 的 介绍 。 主 要 介绍 了 两 种 不 同类 型 的 模糊 支持 向 量 
机 的 理论 知识 、 公 式 的 推导 过 程 以 及 模糊 核 函 数 的 选择 问题 等 内 容 ， 使 我 们 对 
模糊 支持 问 量 机 有 了 更 深刻 的 认识 和 理解 。 最 后 结合 LIBSVM 软件 工具 包 ， 通 过 
编程 对 模糊 支持 向 量 机 算法 进行 了 实现 ， 为 下 一 步 工作 打下 了 和 良好 的 基础 。 
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第 14 尊王 一 一 
基于 模糊 支持 向 量 机 的 识别 系统 实现 


模糊 支持 向 量 机 识别 系统 的 架构 


基于 模糊 支持 向 量 机 (FSVM) 的 目标 识别 系统 由 图 像 采 集 模块 、 图 像 预 
处理 模块 、 目 标 特征 提取 模块 、 目 标 特征 数据 库 管理 模块 、 识 别 模 型 训练 模 
块 、 目 标识 别 模块 等 多 个 模块 构成 。 其 中 系统 的 各 模块 主要 负责 完成 以 下 
功能 : 














ES 


像 采 集 模块 : 负责 可 见 光 、 红 外 图 像 的 采集 工作 ， 并 将 采集 到 的 图 像 正 
确 显示 在 系统 显示 端 。 
图 像 预 处 理 模 块 : 负责 数字 图 像 的 预 处 理 ， 包 括 去 品 、 增 强 、 分 割 等 过 程 ， 
是 目标 识别 系统 中 的 首要 环节 ， 是 非常 重要 的 模块 之 一 ， 其 性 能 的 好 坏 直 接 决 
定 了 识别 率 的 高 低 。 

目标 特征 数据 库 管 理 模块 : 目标 特征 数据 库存 储 目标 特征 数据 ， 支 持 基 于 
专家 系统 的 特征 识别 的 识别 规则 库 和 目标 特征 描述 知识 库 ， 通 过 数据 库 管理 模 
块 可 以 对 数据 库 中 的 数据 进行 添加 、 删 除 等 操作 。 

识别 模型 训练 模块 : 使 用 特征 数据 库 中 已 有 的 训练 样本 的 特征 数据 进行 识 
别 模型 的 训练 工作 ， 通 过 训练 得 到 模型 参数 ， 从 而 获得 可 以 使 用 的 识别 模型 。 

目标 识别 模块 ， 使 用 训练 好 的 识别 模型 对 计算 得 到 的 图 像 中 目标 的 特征 值 
进行 计算 ， 根 据 计 算 结 果 得 到 最 终 的 目标 类 别 。 

设计 框图 如 图 14-1 所 示 。 

为 了 提高 系统 的 实时 性 ， 系 统 整 体 采用 C ++ 语言 设计 ， 为 保证 系统 的 稳 
定 运行 大 量 借鉴 了 微软 MFC 类 库 进 行 开发 ， 开 发 平台 为 Windows XP 操作 系统 ， 
开发 软件 为 Visual C ++6.0， 人 硬件 配置 为 mtel (R) Core i3 人 处理 古 ，RAM 容量 》 
2CB (1.74GB 可 用 ) ，CPU 主 频 为 2. 53CHz。 系 统 运行 时 主 界面 如 图 14-2 所 示 。 

可 以 看 到 识别 系统 界面 美观 简洁 ， 没 有 复杂 的 数据 项 目 。 系 统 实行 一 键 式 
操作 ， 最 大 程度 地 简化 了 操作 人 员 的 操作 过 程 ， 易 于 使 用 。 
































对 
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智能 信息 融合 与 目标 识别 方法 5 




















图 人 处理 
和 目标 特征 | 生生 | | 次 度 共 | | 仿 射 不 目标 特征 数 
待 由 多 提取 模块 生 第 | | 变 抵 据 库 模块 
Le | CE 
| 一 
目 多 提 库 
标 可 my 1 基于 FSVM 的 多 < 

| :传感器 目标 识别 系统 

| 

















目标 识别 过 向 训话 
1 1 
mn. 


ee > | 信息 处 理 中 心 本 


图 14-1 基于 FSVM 的 目标 识别 系统 设计 框图 





上 村。 基于 FSVW 的 可 见 光 及 红 外 目标 识别 


基于 FSVM 的 可 见 光 及 红外 目标 识别 系统 





民 匣 需 营 惠 | 轿 森 巴 牙 理 双 缀 | 杜 所 库 百 称 识别 系 线 | 
可 见 光 传 感 话 
图 像 预 处 理 模 块 
红外 传 感 语 







































































图 14-2 基于 FSVM 的 目标 识别 系统 主 界面 


图 像 预 处 理 部 分 的 实现 


图 像 预 处 理 模块 采用 多 文档 视图 进行 开发 ， 界 面 简洁 美观 ， 运 行 时 界面 图 
如 图 14-3 所 示 。 可 以 看 到 网 像 预 处 理 模块 中 包含 了 数字 图 像 预 处 理 的 一 些 基本 
处 理 方法 ， 包 括 几 何 变换 、 灰 度 变 换 、 图 像 空 间 域 去 噪 增强 、 图 像 频 域 去 噪 增 
强 、 图 像 形态 学 处 理 以 及 图 像 分 割 等 工具 。 
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x |) 


国文 件 (F) 几何 变换 灰 度 变 撞 图 像 空域 增强 图 像 频 域 增强 图像 形 态 学 ”图 像 分 割 
下 日 

















| 口中 日 |% 时 记 | 名 |? 

















区 = 


图 14-3 ”图像 预 处 理 模 块 界面 








14.2.1 文件 的 打开 与 显示 


为 方便 使 用 人 员 进 行 操作 ， 在 设计 图 像 预 处 理 模 块 时 考虑 了 多 种 常用 情况 ， 
开发 实现 了 多 种 便捷 操作 。 使 用 人 员 可 以 通过 菜单 栏 中 的 文件 下 拉 菜 单 对 文件 
进行 新 建文 件 、 文 件 打 开 、 关 闭 文件 、 文 件 保存 、 文 件 另存 为 、 退 出 系统 等 操 
作 ， 并 支持 快捷 键 操作 。 这 里 首先 选择 需要 进行 特征 提取 的 图 片 并 显示 于 工作 
区 域 ,操作 结 果 如 图 14-4 所 示 。 











文件 (F) 几何 变换 灰 度 变 措 ”图像 空域 增强 图 像 频 域 增强 图 像 形态 学 图像 分 割 








| 口中 国 |% 昌 记 | 久 | @| 














就 绪 li | | 








图 14-4 图像 预 处 理 模 块 文件 显示 界面 
通过 图 14-4 我 们 可 以 看 到 ， 选 中 的 文件 被 正确 加 载 到 图 像 预 处 理 模块 中 ， 
并 能 够 在 界面 中 正确 显示 ， 图 像 显示 清晰 正常 ， 没 有 出 现 信息 缺失 的 问题 。 图 
片 默认 显示 在 工作 区 域 左上 角 位置 。 
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14.2.2 预 处 理 模块 图 像 增强 的 执行 


通过 上 一 步 操 作 ， 我 们 已 经 成 功 将 需要 处 理 的 图 片 加 载 到 图 像 预 处 理 模 块 中 并 
显示 出 来 ， 下 面 我 们 就 开始 对 图 像 进行 图 像 增 强 的 操作 。 如 图 14- 5a 中 标注 所 示 ， 单 
击 工具 栏 中 的 “图 像 空 域 增强 ”， 选 择 中 值 滤波 ， 滤波 之 后 的 图 像 如 图 14-5b 所 示 。 
































el x [me x™| 


园 交 H(P 几何 变换 “ 灰 度 杰 C 图 像 空城 增 演 站 像 瑞城 增 深 图像 形 志学 ”图像 分 宙 -| || 思 诡 伯 (R 几 和 要 损 灰 度 变 涡 图像 空域 增强 图像 顷 二 增强 | 图像 开 态 学 | 图 信 分 天 
DB 和 ? icse Rs? 
































b) 
14-5 图像 预 处 理 模 块 空域 增强 前 后 对 比 图 


通过 se 的 对 比 图 我 们 可 以 看 出 ， 中 值 滤波 后 的 图 像 边缘 明 
显 比 滤波 之 前 变 得 平滑 了 。 

“图 像 空 下 拉 菜 单 栏 中 还 包含 了 梯度 锐 化 算法 、 邻 域 平 均 算 法 、 拉 
普 拉 斯 锐 化 算法 等 常用 的 数字 图 像 增强 方法 ， 操 作 人 员 可 以 根据 需要 选择 适当 
的 增强 方法 即 可 实现 图 像 的 去 噪 增强 等 操作 。 


14.2.3 预 处 理 模 块 图 像 分 割 的 执行 


对 于 图 像 分 割 的 操作 ， 它 与 图 像 增强 的 操作 类 似 ， 操作 人 员 只 需 单 击 “图 
像 分 制 ” 选 项 ， 在 弹出 的 下 拉 莱 单 栏 中 选择 需要 的 分 割 方法 即 可 。 图 像 分 割 模 
块 中 主要 实现 了 基本 的 Otsu 算法 、K- means 算法 、 区 域 生 长 、 边 缘 检 测 等 算法 ， 
男 外 根据 需要 添加 了 改进 后 的 分 割 算法 。 

图 14-6 中 给 出 了 使 用 改进 后 的 分 割 算法 对 图 像 进 行 分 割 的 效果 图 。 

































































[el x el x | 


| 园 六 #P 几 向 灾 并 加 区 变换 “图 你 空城 强 图 各 顷 城 尖 强 图 从 形态 字 图 从 分 间 || 园 文件 (F) 几 9 和 灰 度 交换 图 仇 空城 并 强 图像 须 域 洋 强 图像 形 态 学 图像 分 到 {-|e]* 
DB YS DB :SRS 





























图 14-6 预 处 理 模 块 实现 改进 后 的 分 割 效 果 图 
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图 像 预 处 理 中 其 他 操作 与 图 像 增强 和 图 像 分 割 的 操作 过 程 基 本 一 致 。 这 里 
不 再 缆 述 。 


寺 征 提取 部 分 的 实现 


该 模块 使 用 Visual C ++ 6. 0 平台 进行 搭建 ， 采 用 C ++ 语 言 编 程 。 该 模块 具 
有 较 好 的 实时 性 ， 模 块 化 编程 程度 较 高 ， 可 移植 性 好 。 模 块 主要 实现 了 对 图 像 
数据 以 及 非 图 像 数据 的 各 种 特征 的 提取 ， 主 要 有 Hu 矩 、Zemike 和 矩 、 仿 射 不 变 
和 矩 、 灰 度 共 生 和 矩 。 系 统 采 用 多 文档 界面 进行 操作 。 

目标 特征 获取 模块 初始 界面 如 图 14-7 所 示 。 








中 多 传感器 目标 特征 提取 系统 
文件 到 ) 查看 好) 帮助 0 
口 臣 日 |% 是 电 | 久 |@ 








图 14-7 目标 特征 获取 系统 界面 
下 面 将 详细 介绍 具体 操作 步骤 。 
14.3.1 文件 的 打开 与 显示 


与 图 像 预 处 理 模块 类 似 ， 目 标 特 征 提 取 模 块 也 最 大 化 简化 了 使 用 人 员 的 操 
作 过 程 ， 比 如 最 近 打 开 过 的 文件 名 也 在 文件 菜单 中 进行 显示 等 。 使 用 人 员 可 以 
通过 菜单 栏 中 的 文件 下 拉 菜 单 对 文件 进行 新 建文 件 、 文 件 打开 、 关 闭 文 件 、 文 
件 保存 、 文 件 男 存 为 、 退 出 系统 等 各 种 操作 ， 并 支持 快捷 键 操 作 。 这 里 首先 选 
择 需 要 进行 特征 提取 的 图 片 并 显示 于 工作 区 域 ， 操 作 结 果 如 图 14-8 所 示 。 

可 以 看 到 选中 的 文件 被 正确 加 载 到 特征 提取 模块 中 ， 并 在 界面 中 正确 显示 。 
图 片 默认 显示 在 工作 区 域 左上 角 位 置 。 


14. 3.2 传感器 类 型 的 选择 


通过 上 一 步 操作 ， 使 用 人 员 选 择 好 需要 进行 特征 提取 的 文件 之 后 便 可 开始 
进行 特征 提取 。 这 里 对 应 不 同 的 传感器 类 型 ， 所 获得 文件 格式 和 类 型 可 能 会 有 
所 差异 ， 比 如 传感器 数据 包含 红外 图 像 数 据 和 可 见 光 图 像 数据 ， 因 此 需要 选择 
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th 多 传感器 目标 特征 提取 系统 = [3.bap] 
文件 字 ) 编辑 外) 查看 巴 ) 特征 提取 方法 ”红外 传感器 ”可见光 传感器 ”雷达 传感器 激光 测 距 倍 “9fs 定 位 窗口 邮 ) 











图 14-8 文件 的 显示 
对 应 传感器 类 型 菜单 下 的 特征 提取 方法 进行 特征 提取 。 操 作 如 图 14-9 所 示 。 


时 取 方 法 ”红外 传感器 ”可见 光 传感器 ”雷达 | 























14-9 传感器 类 型 选择 


14. 3.3 计算 相应 的 特征 值 

传感器 类 型 菜单 中 有 多 种 不 同 的 特征 类 型 ， 单 击 需要 计算 的 特征 类 型 之 后 系 
统 开始 计算 图 像 特 征 ， 之 后 特征 数据 就 会 以 对 话 框 的 方式 显示 出 来 ， 如 图 14- 10 
所 示 。 
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站 传感器 ”可见光 传感器 ”雷达 











Hu 和 E1: lassss2 | 
Hu 矩 2: |554626 
Huk63， ho.3098 
Ha 
HukE5: [20.5085 
HugE6: 3.0089 
Hu 和 67: rssse 

红外 传感器 存储 | 

可 见 光 传 感 器 存储 | 


Cancel 









图 14-10 特征 值 计 算 


14.3.4 ”特征 值 的 存储 


特征 数据 计算 完毕 之 后 操作 人 员 可 以 选择 对 其 进行 存储 。 单 击 “ 确 定 ” 按 
钮 后 ， 系 统 自动 调用 数据 库 API 函数 与 数据 库 连 接 ， 并 对 特征 数据 进行 存储 。 
之 后 我 们 便 可 以 通过 数据 库 模块 访问 和 使 用 已 保存 过 的 特征 数据 。 


目标 特征 数据 库 系统 的 技术 实现 











14.4.1 特征 数据 库 管 理 系统 的 构建 


目标 识别 系统 数据 库 管理 系统 采用 关系 数据 模型 构建 ， 包 含 多 个 二 维 数 
据 表 以 及 模型 数据 和 必要 的 密 钥 数据 。 通 过 数据 库 管 理 系统 操作 人 员 可 以 获 
取 数 据 库 中 的 特征 数据 以 及 识别 模型 数据 ， 当 然 操 作 人 员 首 先 要 通过 密 钥 
验证 。 

图 14-11 所 示 为 本 数据 库 管理 系统 开发 的 技术 流程 。 

数据 库 管理 系统 主要 是 由 以 下 几 个 模块 构成 ， 包 括 数据 添加 模块 、 数 据 删 
除 模块 、 数 据 更 新 模块 、 数 据 获取 模块 和 身份 验证 模块 。 通 过 知识 库 管 理 系 统 ， 
技术 人 员 可 对 知识 库 中 的 数据 进行 各 种 操作 。 常 用 的 操作 有 新 的 数据 的 添加 完 
善 、 数 据 内 容 的 修改 编辑 、 无 效 或 过 期 数据 的 删除 、 数 据 的 更 新 等 操作 。 
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推广 应 用 结果 
图 14-11 数据 库 管理 系统 开发 流程 图 


14.4.2 目标 动态 特征 库 管理 技术 


本 章 系 统 平台 上 构建 的 目标 识别 系统 面 对 的 是 多 种 目标 类 别 的 识别 分 类 知 
识 的 组 织 。 新 类 别 的 知识 、 规 则 和 数据 的 组 织 从 结构 上 很 难 完全 与 原 有 类 别 
的 知识 、 规 则 和 数据 的 结构 一 致 。 即 使 采用 相同 的 识别 算法 也 难于 做 到 结构 
上 的 一 致 。 因 此 ， 本 童 中 所 有 类 别 均 采用 相同 的 FSVM 识别 算法 。 在 系统 的 
FSVM 算法 中 需要 存放 经 学 习 后 的 权 阵 表 ， 用 以 在 系统 运行 时 进行 分 类 识别 
使 用 。 

由 于 不 同 目标 类 别 的 特征 数据 和 类 别 型 号 不 一 样 ， 在 对 新 目标 进行 模型 训 
练 后 ， 获 得 的 模型 数据 与 原 有 数据 格式 不 一 致 ， 因 此 我 们 需要 动态 地 改变 识别 
模型 数据 在 数据 库 中 的 存储 格式 。 对 于 同一 类 别 的 权 阵 表 结 构 而 言 ， 随 着 系统 
的 运行 ， 子 类 别 数 有 可 能 增加 或 改变 ， 提 取 的 特征 数据 的 维 数 也 可 能 增加 或 
改变 。 

针对 上 述 两 种 原因 ， 本 章 所 建 数据 库 不 能 使 用 数据 库 结构 模板 ， 也 不 能 使 
用 SQL 程序 简单 构建 其 数据 库 结构 。 由 于 数据 库 管 理 系统 的 局 限 性 ， 要 实现 数 
据 库 的 动态 模式 创建 必须 要 通过 借助 静态 模式 的 创建 工具 。 可 以 简单 理解 为 使 
用 已 存在 的 静态 表 创建 可 变 的 动态 表 。 据 此 ， 我 们 给 出 动态 数据 库 的 构建 流程 
如 下 : 

1) 首先 将 创建 动态 表 所 需要 的 数值 作为 数据 存 人 静态 表 中 ， 并 将 此 静态 表 
命名 为 结构 参数 表 。 
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2) 动态 表 中 的 所 有 数据 顺序 存 于 另 一 个 静态 表 中 ， 保 持 数据 类 型 一 致 ， 并 
将 存放 数据 的 表 命名 为 流 式 数 据 表 。 

3) 完成 以 上 两 步 ， 动 态 数据 表 就 基本 创建 完毕 了 ， 当 我 们 需要 使 用 动态 表 
时 ， 只 需要 通过 给 定 的 结构 参数 去 流 式 数 据 表 中 搜寻 对 应 的 数据 ， 然 后 恢复 出 
来 即 可 。 其 系统 结构 如 图 14- 12 所 示 。 


结构 参数 







动态 数据 库 表 
恢复 模块 






流 式 数 据 


图 14-12 系统 结构 图 


本 章 中 ， 系 统 采 用 FSVM 算法 进行 目标 识别 ， 因 此 无 论 是 新 增 一 种 目标 类 
别 ， 或 是 重新 训练 识别 模型 ,都 要 求 数据 库 能 够 针对 这 些 改变 进行 动态 的 
调整 。 

因此 ， 在 对 数据 库 进 行 开 发 时 ， 设 计 了 两 种 表 来 解决 上 述 问题 。 其 一 是 目 
标的 FSVM 算法 参数 表 ， 它 存放 各 类 目标 的 权 阵 表 的 结构 及 其 他 可 用 信息 。 男 
一 类 是 权 阵 表 ， 用 以 存放 每 种 目标 的 权 阵 数据 。 

图 14-13 所 示 为 基于 SQL 的 样本 特征 对 象 资源 管理 。 
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图 14-13 基于 SQL 的 样本 特征 对 和 象 资源 管理 
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14.4.3 目标 特征 数据 库 建 立 


本 章 目 标 特征 知识 数据 库 设 计 采 用 关系 结构 模型 。 关 系 结构 模型 最 为 突 
出 的 优点 就 是 能 够 以 简单 的 二 维 表格 的 形式 直观 地 表示 出 各 种 复杂 的 数据 结 
构 之 间 的 关系 。 结 构 简 单 ， 清 晰 直观 。 图 14- 14 为 本 章 中 样本 特征 数据 的 存 
储 结构 。 








Rh. Wicrosoft SQL Server 了 anageaent Studio 


文件 四 ”编辑 视图 WW) 项 目 让 ) 查 淘 设 计 器 如 了 工具) 窗口 由 社区 C) 帮助 中 
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14-14 基于 SQL 的 样本 特征 数据 
图 14-15 和 图 14-16 所 示 分 别 本 章 中 样本 特征 数据 表 的 事例 。 
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图 14-15 基于 SQL 的 样本 特征 数据 表 1 


为 了 保证 项 目的 识别 准确 率 ， 保 证 软件 识别 的 精准 性 ， 本 章 建 立 了 独立 的 
特征 数据 库 ， 数 据 库 一 共 对 汽车 、 卡 车 、 战 斗 机 、 直 升 机 四 大 类 图 像 中 20 余 种 
型 号 的 模型 ， 进 行 了 可 见 光 和 红外 图 像 的 提取 ， 每 个 模型 按照 垂直 方向 (90° 每 
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日 四] feature database 
田 国 数据 库 关 系 图 
日 篇 表 
田 国 系统 表 
由 dbo. BATTLEFLANE. Radar.CerterDils 
dbo. BATTLEFLANE. Radar. FowerSpectrur 
dbo. far. BATTLEPLANE. CCD. affineM 
dbo. far. BATTLEFLANE. CCD. comM 
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由 
日 dbo. far. BATTLEFLANE. CCD. huaM 
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国 dbo. far. BATTLEPLANE. infra. affinel 
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由 
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由 
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图 14-16 基于 SQL 的 样本 特征 数据 表 2 


隔 5°) 和 水 平方 向 (360° 每 隔 5°) 进行 样本 拍摄 ， 每 个 模型 共 提 取 1250 张 图 
片 ， 数 据 库 中 共计 包含 5000 张 图 片 。 


14.4.4 数据 库 管 理 系统 编程 实现 


数据 库 管理 子 系统 使 用 开放 数据 库 互 连 将 Visual C ++6. 0 与 数据 库 相 连接 ， 
使 用 MFC 的 标准 类 库 函 数 对 数据 库 进行 各 种 必要 的 操作 以 及 数据 的 读 取 与 写 和 人 。 
数据 库 系统 可 分 为 四 个 部 分 : 样 图 显示 部 分 、 文 件 处 理 部 分 、 模 型 训练 部 分 ， 
以 及 数据 显示 部 分 。 

图 14-17 为 数据 库 登 录 密 钥 界 面 。 

数据 库 管理 系统 界面 如 图 14-18 所 示 。 

(1) 样 图 的 显示 

样 图 显示 功能 用 于 操作 人 员 直 观 判断 图 像 传感器 拍摄 的 样本 图 片 质量 、 图 
片 类 型 的 好 坏 。 操 作 人 员 单 击 “ 样 图 显示 ”按钮 ， 选 择 需要 观察 的 图 像 数据 ， 
单 击 “ 确 定 ”按钮 之 后 样 图 便 会 显示 在 图 像 显示 区 域 。 操 作 过 程 如 图 14-19 和 
图 14-20 所 示 。 
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图 14-17 数据 库 登 录 密 钥 界面 





14-19 ”文件 选择 
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_ 梯 图 显示 | 得 是 件 下 一 
大 批量 处 理 样 本 文件 
小 批量 样本 添加 











模型 训练 











册 矩 特征 | zernike 矩 特征 | 仿 射 不 变 矩 特征 | 灰 度 共生 算 特 征 | 

















14-20 ” 样 图 显示 


(2) 文件 的 处 理 

批量 文件 处 理 通 过 针对 不 同 的 情况 采用 不 同 的 操作 方式 进行 特征 数据 提取 ， 
最 大 化 简化 操作 人 员 的 操作 复杂 度 。 样 本 数量 较 少 时 可 以 采用 小 批量 处 理 模 式 
进行 文件 处 理 。 单 击 “ 小 批量 样本 添加 ”按钮 ， 在 弹出 的 对 话 框 中 首先 按照 样 
本 类 型 进行 参数 的 设 定 ， 如 图 14-21 所 示 。 


















































请 选择 要 添加 的 样本 类 型 、 传 感 器 类 型 、 距 离 类 型 
到 | 王 笃 区 王 

@ 悍 马 。 @ 直 逢 机 久 卡 车 @ 导 弹 

外 战斗 机 。” @ 保 时 捷 外 坦克 全 火炮 
寿 感 老 透 泽 区 堪 

外 可 见 光  @ 红 外 和 @ 雷 达 @ 其 他 
工 离 闫 型 更 泽 区 王 

@ 远 距离 (小 目标 ) @ 近 距离 《大 目标 ) 
OK | Cancel | 





14-21 参数 选择 


设置 好 参数 之 后 单 击 “ 确 定 ” 按 钮 ， 这 时 系统 会 弹出 文件 选择 对 话 框 ， 如 
图 14-22 所 示 。 

系统 允许 一 次 性 选择 多 个 文件 同时 进行 处 理 。 选 择 好 文件 之 后 单 击 “ 打 开 ” 
按钮 进行 特征 提取 。 特 征 提取 完毕 之 后 会 将 数据 显示 在 数据 显示 区 域内 ， 并 弹 
出 “存储 完成 ”对 话 框 ， 如 图 14-23 所 示 。 
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ok | Cancel | 

















时 
SS 
& 





人 @ 悍 马 到 直升机 入 卡车 多 导弹 
外 战斗 机 ” 久保 时 捷 外 坦克 @ 火 炮 





























久远 距离 《小 目标 @ 近 距离 (大 目标 ) ] 


图 14-23 存储 完成 提示 





模型 训练 部 分 





上 一 步 提 取 的 特征 数据 存 入 数据库 后 ， 操 作 人 员 就 可 以 在 数据 库 管理 界面 
进行 模型 的 训练 操作 。 单 击 “ 模 型 训练 ”按钮 后 系统 开始 执行 模型 训练 功能 ， 
对 样本 库 中 所 有 数据 进行 训练 ， 通 过 网 格 寻 优 、 交 又 验证 等 训练 过 程 后 得 到 最 


优 模型 参数 。 操 作 界 面 如 图 14-24 所 示 。 





模型 训练 过 程 结束 后 会 弹出 “训练 结束 ”提示 对 话 框 表示 训练 成 功 结 
如 图 14-25 所 示 。 训 练 结束 后 ， 训 练 得 到 的 识别 模型 参数 将 自动 保存 到 数据 库 
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大 批量 处 理 样本 文件 
小 批量 样本 添加 








模型 训练 





图 14-24 模型 的 训练 过 程 
中 。 当 识别 模块 执行 目标 识别 过 程 时 便 可 以 直接 从 数据 库 中 取得 该 模型 进行 目 


标识 别 。 


呈 示 | 







大 批量 处 理 样本 文件 
小 批量 样本 添加 











山 矩 特征 。 | Zernike 危 特征 」 仿 射 不 变 矩 特征 | 灰 度 共生 适 特征 | 





图 14-25 模型 训练 结束 


目标 识别 部 分 





14. 6.1 目标 识别 模块 工作 流程 与 结果 显示 


“目标 识别 ”按钮 位 置 如 图 14-2 所 示 ， 位 于 主 界面 右上 角 部 分 。 单 击 “ 目 
标识 别 ” 按 钮 后 系统 将 会 自动 执行 目标 识别 过 程 ， 包 括 图 像 预 处 理 、 特 征 提 取 、 
识别 模型 获取 以 及 目标 值 计算 ,最 终 得 到 目标 类 别 ， 并 在 识别 结果 显示 区 域 进 
行 显示 。 具 体 流程 图 如 图 14-26 所 示 。 

目标 识别 过 程 为 一 键 式 操作 ,操作 人 员 只 需要 单 击 “ 目 标识 别 ” 按 钮 即 可 ， 
实用 性 高 。 最 终 识 别 结 果 将 显示 在 文本 控件 中 ， 如 图 14-27 所 示 。 


14. 6.2 目标 识别 结果 分 析 与 对 比 
识别 模型 的 识别 能 力 是 目标 识别 系统 最 为 重要 的 部 分 。 我 们 将 通过 实验 对 
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图 像 分 割 





特征 提取 


图 14-26 “目标 识别 ”按钮 响应 流程 





上 基于 FSVw 的 可 见 光 及 红外 目标 记 别 





基于 FSVM 的 可 见 光 及 红外 目标 识别 系统 | 





























情感 项 管理 赎 何 巴尔 还 系 宽 磊 蔚 击 | | ”| 则 标识 别 系统 | 
质 河 各 果 | 一 一 一 一 
可 见 光 传感器 ee 
图 像 预 处 理 模块 数据 库 管理 目标 识别 | 二: 
红外 传 感 话 一 有 目标 为 :人 | 
























































14-27 ”识别 结果 显示 图 


识别 模型 进行 验证 。 

本 章 使 用 反问 传播 ( Back Propagation，BP) 神经 网 络 算法 与 FSVM 算法 进 
行 识 别 精度 比 对 。 本 次 实验 共有 四 类 训练 目标 ,包括 汽车 、 坦 克 、 战 斗 机 以 及 
人 物 。 对 每 类 目标 分 别 进行 了 可 见 光 和 红外 图 像 的 提取 ， 每 类 目标 按照 垂直 方 
向 〈90" 每 隔 10") 和 水 平方 向 (360° 每 隔 10") 进行 样本 拍摄 ， 每 个 模型 共 
提取 324 张 图 片 ， 每 张 图 片 计 算出 目标 特征 值 存 于 数据 库 中 。 每 类 目标 取 数 
据 集约 80% 数据 用 作 训 练 数据 ， 剩 余 约 20% 数据 用 作 测 试 数据 。 实 验 对 比 结 
果 见 表 14-1。 









































表 14-1 BP 神经 网 络 算法 与 FSVM 算法 识别 结果 比较 














算 法 识别 样本 总 数 分 类 正确 数 分 类 错误 数 识别 正确 率 
BP 神经 网 络 270 203 67 75.3% 
FSVM 算法 270 241 29 89. 2% 





通过 对 比 可 以 看 出 FSVM 算法 相 较 于 BP 神经 网 络 算法 具有 更 高 的 识别 率 ， 
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sa 第 14 章 基于 模糊 支持 向 量 机 的 识别 系统 实现 


识别 精度 良好 。 其 中 FSVM 识别 模型 经 过 训练 样本 训练 之 后 的 识别 能 力 测试 图 
如 图 14-28 和 图 14-29 所 示 。 


train IR.txt.scale 


Best log2(C)=15 log2(gamma)=—7 accuracy =86.4706% 
C= 32768 gamma = 0.0078125 





log2(gamma) 
log2(C) 
图 14-28 识别 模型 对 红外 图 像 识 别 测试 结果 图 
train CCD.txtscale 
Best log2(C)=5 log2(gamma)=—1 accuracy = 93.5294% 
C=32 gamma =0.5 
log2(gamma) 





log2(C) 


14-29 ”识别 模型 对 可 见 光 图 像 识别 测试 结果 图 
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图 中 主要 记录 了 识别 模型 的 重要 参数 数值 ， 以 及 正确 识别 率 等 高 线 的 绘制 。 
由 图 14-29 可 以 看 出 ,训练 后 的 识别 模型 对 于 红外 图 像 中 目标 的 正确 识别 率 最 
高 可 以 达到 86% ， 对 于 可 见 光 图 像 的 最 大 正确 识别 率 更 是 高 达 93. 5% 。 本 次 试 
验 结果 表明 ， 基 于 FSVM 的 目标 识别 系统 识别 速度 与 识别 精度 令 人 满意 。 系 统 
运行 稳定 ， 操 作 简单 ， 可 用 性 较 高 。 


本 章 小 结 


本 章 从 整个 识别 系统 的 实现 情况 出 发 ， 首 先 讲述 了 基于 FSVM 的 红外 及 可 
见 兴 目标 识别 系统 的 设计 框架 ， 然 后 对 各 模块 设计 流程 、 运 行情 况 以 及 基本 的 
操作 流程 进行 了 详尽 的 讲解 。 最 后 ， 对 系统 的 目标 识别 模型 的 正确 识别 率 进行 
了 实验 验证 。 对 采集 到 的 大 量 目标 图 像 进行 识别 ， 实 验 结果 表明 系统 整体 运行 
稳定 ， 识 别 速 度 以 及 识别 精度 令 人 满意 。 该 系统 具有 一 定 实用 价值 。 
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本 书 内 容 包括 : 

特征 级 融合 目标 识别 的 基本 理论 。 

多 源 图 像 的 预 处 理 、 结 合 阔 值 分 剂 的 分 水 岭 算 法 、 结 合 聚 类 分 割 的 分 水 
岭 算 法 、 目 标 特 征 提取 方法 。 

基于 协 方差 矩阵 的 多 特征 信息 融合 、 基 于 主 成 分 分 析 的 特征 融合 方法 、 
基于 改进 免疫 遗传 的 特征 融合 方法 、 基 于 独立 分 量 的 特征 融合 ， 以 及 对 典 
型 相关 分 析 特 征 融 合 方法 的 改进 。 

基于 优化 改进 的 反 向 传播 神经 网 络 目标 识别 、 模 糊 支 持 向 量 机 理论 与 纺 
程 ， 以 及 基于 模糊 支持 向 量 机 的 识别 系统 。 
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